Prompt-Regression
Prompt-Regression
Prompt-Regressionen treten auf, wenn eine Prompt-Änderung die Qualität mindert, die Kosten erhöht oder Sicherheitserwartungen verletzt.
Umgang im Unternehmen: Erkennung durch Evaluierung, Bestätigung durch Monitoring, schneller Rollback und Dokumentation der Beweise.
Siehe auch
Evaluierungs-Harness Monitoring (Qualität, Drift) Rollback-Strategie KI-Rollback-RunbookFAQ
Was ist Prompt-Regression?
Eine Prompt-Änderung führt zu einem Rückgang der Qualität, Sicherheit oder Kostenleistung im Vergleich zur Baseline.
Wie erkennen wir sie?
Evaluierungs-Harness + Monitoring von Ergebnis-Metriken und Drift-Signalen.
Was ist die erste Reaktion?
Änderungen einfrieren, auf Testdatensatz reproduzieren, bei Bestätigung Rollback durchführen.
Wie verhindern wir Wiederholungen?
Versionierung, Gates und stärkere Rubriken/Testdatensätze.
Was ist die erste Verbesserung?
Führen Sie für jede Prompt-Änderung einen kleinen Evaluierungsdatensatz aus.