漂移监控
如何检测LLM系统中的行为漂移与质量退化。
已发布:
Admin User
published
漂移监控
漂移监控检测行为、质量、安全性或成本信号随时间的变化。
企业漂移监控依赖于评估基线和受控的逐步推出。
另请参阅
监控（LLMOps） 提示回归 AI回滚运行手册常见问题
LLM系统中的漂移是什么？
输出行为、质量、安全性或成本模式随时间的变化。
漂移的原因是什么？
模型更新、路由变更、数据变化、用户行为转变或提示编辑。
我们如何检测漂移？
持续采样 + 评估基线 + 关键指标警报。
检测到漂移时我们该怎么做？
冻结变更、在测试集上验证、回滚并记录证据。
首要改进措施是什么？
建立基线评估集并定期运行。