每项任务成本
如何通过预算、缓存和路由来定义和控制每项任务的成本。
已发布:
Admin User
published
单任务成本
单任务成本是控制LLM支出的单位指标。
通过预算、路由、缓存和基于监控的触发器来控制它。
另请参阅
成本与延迟控制 成本激增控制（LLMOps） 成本激增运行手册常见问题
什么是单任务成本？
完成一个工作单元的平均成本（包括重试、检索和回退）。
如何降低单任务成本？
路由、缓存、提示优化以及通过更好的评估减少重试。
如何检测成本激增？
监控每个任务的成本分布并对异常情况发出警报。
常见的反模式是什么？
仅跟踪总支出，而不跟踪每个任务的单位经济效益。
第一个改进措施是什么？
为每个请求/任务配备成本测量工具并设置预算阈值。