Manuel d'opérations - Pic de coût

Étapes pour diagnostiquer et réduire les pics de coût des LLM rapidement et en toute sécurité.
Publié:
Admin User
Updated:
published

Guide d'intervention en cas de pic de coûts

  • Geler les modifications et les mises à jour de routage
  • Identifier les principaux appelants et les facteurs de consommation de jetons
  • Appliquer des budgets/limites de débit/mise en cache
  • Vérifier que le coût par tâche revient à la ligne de base
  • Capturer les preuves et mettre à jour les contrôles

Articles liés

Contrôle des pics de coûts (LLMOps) Coût par tâche Guide d'intervention pour le retour arrière de l'IA

FAQ

Quelle est l'étape d'endiguement immédiate ?
Geler les modifications de routage/d'invite et appliquer des budgets ou des régulations pour arrêter les dépenses incontrôlées.

Comment trouver la cause rapidement ?
Identifier les principaux appelants, les invites gourmandes en jetons et les schémas de réessai ; comparer à la ligne de base.

Quand effectuons-nous un retour arrière ?
Si les signaux de coût dépassent les seuils et que la vérification confirme une régression dans le comportement de routage/d'invite.

Quelles preuves devons-nous recueillir ?
Versions de routage, versions d'invite, principaux points d'accès, graphiques de coût par tâche et actions entreprises.

Quelle est l'étape de prévention ?
Ajouter des seuils budgétaires + déploiement canary + alertes de surveillance pour le coût unitaire.