后备策略
当LLM失败或性能下降时,后备方案能确保系统安全。
企业级模式:超时处理、分层路由、缓存答案和安全降级模式。
另请参阅
模型路由
成本与延迟控制
AI回滚操作手册
常见问题
什么是后备方案?
当LLM失败、性能下降或超时时,提供更安全的替代路径。
常见的后备模式有哪些?
更简单的模型、缓存响应、基于规则的答案,或拒绝/升级至人工处理。
如何知道后备方案有效?
测量后备触发率、成功率,以及对结果和成本的影响。
常见的失败模式是什么?
没有后备方案 → 用户在高负载下看到错误或不稳定行为。
首要改进措施是什么?
为关键流程添加超时处理和确定性的后备路径。