回退策略

当大型语言模型(LLM)出现故障、超时或性能下降时,用于维持系统稳定的备用策略。
已发布:
Admin User
published

后备策略

当LLM失败或性能下降时,后备方案能确保系统安全。

企业级模式:超时处理、分层路由、缓存答案和安全降级模式。

另请参阅

模型路由 成本与延迟控制 AI回滚操作手册

常见问题

什么是后备方案?
当LLM失败、性能下降或超时时,提供更安全的替代路径。

常见的后备模式有哪些?
更简单的模型、缓存响应、基于规则的答案,或拒绝/升级至人工处理。

如何知道后备方案有效?
测量后备触发率、成功率,以及对结果和成本的影响。

常见的失败模式是什么?
没有后备方案 → 用户在高负载下看到错误或不稳定行为。

首要改进措施是什么?
为关键流程添加超时处理和确定性的后备路径。