Модель Маршрутизации
Маршрутизация моделей
Маршрутизация моделей выбирает, какую модель или путь использовать, исходя из задачи, риска, стоимости и задержки.
Корпоративная маршрутизация контролируется политиками, бюджетами и сигналами мониторинга.
См. также
Контроль стоимости и задержки Стратегия отката (LLMOps) Контроль скачков затрат (LLMOps)Часто задаваемые вопросы
Что такое маршрутизация моделей?
Выбор модели/пути на основе требований к задаче, риску, стоимости и задержке.
Как мы контролируем риски маршрутизации?
Политики, бюджеты, «канареечные» выпуски и триггеры отката на основе мониторинга.
Каков распространенный режим отказа?
Изменения маршрутизации без базовых показателей оценки или мониторинга затрат.
Как мы обрабатываем откаты?
Определите поведение при тайм-ауте и деградации; регистрируйте и измеряйте частоту откатов.
Каково первое улучшение?
Создайте двухуровневую маршрутизацию (быстрая/дешевая против высококачественной) с четкими правилами задач.