Surveillance de la dérive
Surveillance de la dérive
La surveillance de la dérive détecte les changements dans les signaux de comportement, de qualité, de sécurité ou de coût au fil du temps.
La surveillance de la dérive en entreprise dépend des lignes de base d'évaluation et des déploiements contrôlés.
Voir aussi
Surveillance (LLMOps) Régression des invites Guide de restauration de l'IAFAQ
Qu'est-ce que la dérive dans les systèmes LLM ?
Un changement dans le comportement de sortie, la qualité, la sécurité ou les modèles de coût au fil du temps.
Qu'est-ce qui cause la dérive ?
Mises à jour de modèles, changements de routage, modifications de données, changements de comportement des utilisateurs ou modifications d'invites.
Comment détectons-nous la dérive ?
Échantillonnage continu + lignes de base d'évaluation + alertes sur les métriques clés.
Que faisons-nous lorsque la dérive est détectée ?
Geler les changements, vérifier sur des ensembles de test, annuler et documenter les preuves.
Quelle est la première amélioration ?
Établir un ensemble d'évaluation de référence et l'exécuter régulièrement.