Evaluacione Rubrike

Rubrike koje čine evaluaciju LLM-ova doslednom, proverljivom i poboljšivom.
Objavljeno:
Admin User
Updated:
published

Rubrike za evaluaciju

Rubrike čine evaluaciju doslednom: ocenjujete izlaze prema definisanim kriterijumima.

Korporativne rubrike takođe definišu koji dokazi su potrebni za zadatke visokog rizika.

Pogledajte takođe

Metrike evaluacije LLM-a Čovek u petlji Kapije kvaliteta

Česta pitanja

Šta je rubrika za evaluaciju?
Okvir za bodovanje koji čini kvalitet izlaza merljivim i doslednim.

Koje dimenzije bi rubrike trebalo da uključuju?
Tačnost, jasnoća, bezbednost, potpunost i korisnost zadatka.

Kako se nosimo sa subjektivnim bodovanjem?
Definišite primere i sidra za svaki rezultat; kalibrišite ocenjivače.

Kako rubrike postaju kapije?
Definišite pragove prolaznosti i primenite ih tokom objavljivanja promena prompta/modela.

Koje je prvo poboljšanje?
Definišite 3–5 dimenzija rubrike i ocenite mali osnovni testni skup.