Routage de modèle
Routage de modèles
Le routage de modèles choisit le modèle ou le chemin à utiliser en fonction de la tâche, du risque, du coût et de la latence.
Le routage d'entreprise est contrôlé par des politiques, des budgets et des signaux de surveillance.
Voir aussi
Contrôles des coûts et de la latence Stratégie de repli (LLMOps) Contrôle des pics de coûts (LLMOps)FAQ
Qu'est-ce que le routage de modèles ?
Sélectionner un modèle/chemin en fonction des exigences de tâche, de risque, de coût et de latence.
Comment contrôlons-nous le risque de routage ?
Politiques, budgets, déploiements canaris et déclencheurs de restauration basés sur la surveillance.
Quel est un mode de défaillance courant ?
Modifications de routage sans lignes de base d'évaluation ou surveillance des coûts.
Comment gérons-nous les replis ?
Définir le comportement de temporisation et de dégradation ; enregistrer et mesurer les taux de repli.
Quelle est la première amélioration ?
Créer un routage à 2 niveaux (rapide/bon marché vs haute qualité) avec des règles de tâche claires.