Bewertungsrubriken

Rubriken, die die LLM-Evaluierung konsistent, auditierbar und verbesserbar machen.
Veröffentlicht:
Admin User
Updated:
published

Bewertungsrubriken

Rubriken machen die Bewertung konsistent: Sie bewerten Ergebnisse anhand definierter Kriterien.

Unternehmensrubriken definieren auch, welche Nachweise für risikoreiche Aufgaben erforderlich sind.

Siehe auch

LLM-Bewertungsmetriken Human-in-the-Loop Qualitätstore

FAQ

Was ist eine Bewertungsrubrik?
Ein Bewertungsrahmen, der die Qualität der Ergebnisse messbar und konsistent macht.

Welche Dimensionen sollten Rubriken umfassen?
Korrektheit, Klarheit, Sicherheit, Vollständigkeit und Aufgabennützlichkeit.

Wie gehen wir mit subjektiver Bewertung um?
Definieren Sie Beispiele und Anker für jede Punktzahl; kalibrieren Sie die Prüfer.

Wie werden Rubriken zu Toren?
Definieren Sie Bestehensschwellen und setzen Sie diese bei der Freigabe von Prompt-/Modelländerungen durch.

Was ist die erste Verbesserung?
Definieren Sie 3–5 Rubrikdimensionen und bewerten Sie einen kleinen Baseline-Testsatz.