Set di test per LLM
Come costruire set di test che riflettano attività reali, casi limite e criteri di accettazione.
Pubblicato:
Admin User
Updated:
published
Set di test per LLM
I set di test ancorano la valutazione a compiti reali e casi limite.
I set di test aziendali includono rubriche, tag di rischio e criteri di accettazione.
Vedi anche
Rubriche di valutazione Strumento di valutazione Metriche di valutazione LLMFAQ
Cosa dovrebbe includere un set di test?
Compiti rappresentativi, casi limite, casi avversari ed esempi etichettati per il rischio.
Quanto dovrebbe essere grande?
Inizia in piccolo (50-200), poi cresci in base ai fallimenti e ai nuovi casi d'uso.
Come lo manteniamo aggiornato?
Aggiungi casi da fallimenti reali, incidenti e cicli di feedback degli utenti.
Qual è una modalità di fallimento comune?
Un set di test che non riflette l'utilizzo in produzione o la distribuzione del rischio.
Qual è il primo miglioramento?
Crea un “gold set” per i tuoi 3 compiti principali e aggiungi rubriche.