Manuel d'opérations - Pic de coût
Guide d'intervention en cas de pic de coûts
- Geler les modifications et les mises à jour de routage
- Identifier les principaux appelants et les facteurs de consommation de jetons
- Appliquer des budgets/limites de débit/mise en cache
- Vérifier que le coût par tâche revient à la ligne de base
- Capturer les preuves et mettre à jour les contrôles
Articles liés
Contrôle des pics de coûts (LLMOps) Coût par tâche Guide d'intervention pour le retour arrière de l'IAFAQ
Quelle est l'étape d'endiguement immédiate ?
Geler les modifications de routage/d'invite et appliquer des budgets ou des régulations pour arrêter les dépenses incontrôlées.
Comment trouver la cause rapidement ?
Identifier les principaux appelants, les invites gourmandes en jetons et les schémas de réessai ; comparer à la ligne de base.
Quand effectuons-nous un retour arrière ?
Si les signaux de coût dépassent les seuils et que la vérification confirme une régression dans le comportement de routage/d'invite.
Quelles preuves devons-nous recueillir ?
Versions de routage, versions d'invite, principaux points d'accès, graphiques de coût par tâche et actions entreprises.
Quelle est l'étape de prévention ?
Ajouter des seuils budgétaires + déploiement canary + alertes de surveillance pour le coût unitaire.