成本激增应对手册
快速安全诊断并降低LLM成本激增的步骤。
已发布:
Admin User
Updated:
published
成本激增应对手册
- 冻结变更和路由更新
- 识别主要调用方和令牌驱动因素
- 应用预算/速率限制/缓存
- 验证每任务成本恢复至基线
- 收集证据并更新控制措施
相关
成本激增控制 (LLMOps) 每任务成本 AI 回滚手册常见问题
什么是立即遏制步骤？
冻结路由/提示变更，并应用预算或节流措施以阻止失控支出。
我们如何快速找到原因？
识别主要调用方、令牌密集型提示和重试模式；与基线进行比较。
我们何时进行回滚？
如果成本信号超过阈值，并且验证确认路由/提示行为出现回归。
我们应该收集哪些证据？
路由版本、提示版本、主要端点、每任务成本图表以及采取的行动。
预防步骤是什么？
添加预算门控 + 金丝雀发布 + 单位成本监控警报。