模型路由
模型路由作为控制系统：成本、延迟、质量层级与备用方案。
已发布:
Admin User
published
模型路由
模型路由根据任务、风险、成本和延迟来选择使用哪个模型或路径。
企业路由由策略、预算和监控信号控制。
另请参阅
成本与延迟控制 回退策略 (LLMOps) 成本激增控制 (LLMOps)常见问题
什么是模型路由？
根据任务、风险、成本和延迟要求选择模型/路径。
如何控制路由风险？
通过策略、预算、金丝雀发布和基于监控的回滚触发器。
常见的失败模式是什么？
在没有评估基线或成本监控的情况下更改路由。
如何处理回退？
定义超时和降级行为；记录并测量回退率。
首要改进是什么？
创建具有明确任务规则的两层路由（快速/廉价 vs 高质量）。