Evaluacione Rubrike
Rubrike koje čine evaluaciju LLM-ova doslednom, proverljivom i poboljšivom.
Objavljeno:
Admin User
Updated:
published
Rubrike za evaluaciju
Rubrike čine evaluaciju doslednom: ocenjujete izlaze prema definisanim kriterijumima.
Korporativne rubrike takođe definišu koji dokazi su potrebni za zadatke visokog rizika.
Pogledajte takođe
Metrike evaluacije LLM-a Čovek u petlji Kapije kvalitetaČesta pitanja
Šta je rubrika za evaluaciju?
Okvir za bodovanje koji čini kvalitet izlaza merljivim i doslednim.
Koje dimenzije bi rubrike trebalo da uključuju?
Tačnost, jasnoća, bezbednost, potpunost i korisnost zadatka.
Kako se nosimo sa subjektivnim bodovanjem?
Definišite primere i sidra za svaki rezultat; kalibrišite ocenjivače.
Kako rubrike postaju kapije?
Definišite pragove prolaznosti i primenite ih tokom objavljivanja promena prompta/modela.
Koje je prvo poboljšanje?
Definišite 3–5 dimenzija rubrike i ocenite mali osnovni testni skup.