План действий при всплеске затрат
Руководство по устранению резкого роста затрат
- Заморозить изменения и обновления маршрутизации
- Определить основных вызывающих абонентов и драйверы токенов
- Применить бюджеты/ограничения скорости/кэширование
- Убедиться, что стоимость за задачу возвращается к базовому уровню
- Собрать доказательства и обновить элементы управления
Связанные
Контроль резкого роста затрат (LLMOps) Стоимость за задачу Руководство по откату ИИЧасто задаваемые вопросы
Какой немедленный шаг по сдерживанию?
Заморозить изменения маршрутизации/подсказок и применить бюджеты или ограничения, чтобы остановить неконтролируемые расходы.
Как быстро найти причину?
Определить основных вызывающих абонентов, подсказки с большим количеством токенов и шаблоны повторных попыток; сравнить с базовым уровнем.
Когда мы откатываемся?
Если сигналы стоимости превышают пороговые значения и проверка подтверждает регрессию в поведении маршрутизации/подсказок.
Какие доказательства следует собрать?
Версии маршрутизации, версии подсказок, основные конечные точки, графики стоимости за задачу и предпринятые действия.
Какой шаг по предотвращению?
Добавить бюджетные шлюзы + канареечное развертывание + оповещения мониторинга для удельной стоимости.