Praćenje odstupanja
Praćenje drifta
Praćenje drifta detektuje promene u ponašanju, kvalitetu, bezbednosti ili signalima troškova tokom vremena.
Praćenje drifta u preduzeću zavisi od evaluacionih osnova i kontrolisanih uvođenja.
Videti takođe
Praćenje (LLMOps) Regresija prompta Priručnik za povratak AI sistemaČesta pitanja
Šta je drift u LLM sistemima?
Promena u izlaznom ponašanju, kvalitetu, bezbednosti ili obrascima troškova tokom vremena.
Šta uzrokuje drift?
Ažuriranja modela, promene rutiranja, promene podataka, promene ponašanja korisnika ili izmene promptova.
Kako detektujemo drift?
Kontinuirano uzorkovanje + evaluacione osnove + upozorenja o ključnim metrikama.
Šta radimo kada se detektuje drift?
Zamrznuti promene, verifikovati na testnim skupovima, vratiti na prethodno stanje i dokumentovati dokaze.
Koje je prvo poboljšanje?
Uspostaviti osnovni set za evaluaciju i redovno ga pokretati.