Kostenanstieg-Runbook
Schritte, um LLM-Kosten-Spitzen schnell und sicher zu diagnostizieren und zu reduzieren.
Veröffentlicht:
Admin User
published
Runbook für Kostenanstieg
- Änderungen und Routing-Updates einfrieren
- Top-Anrufer und Token-Treiber identifizieren
- Budgets/Ratenbegrenzungen/Caching anwenden
- Kosten pro Aufgabe auf Basislinie zurückkehren lassen
- Beweise erfassen und Kontrollen aktualisieren
Verwandt
Kostenanstiegskontrolle (LLMOps) Kosten pro Aufgabe Runbook für AI-RollbackFAQ
Was ist der sofortige Eindämmungsschritt?
Routing-/Prompt-Änderungen einfrieren und Budgets oder Drosselungen anwenden, um ausufernde Ausgaben zu stoppen.
Wie finden wir die Ursache schnell?
Top-Anrufer, token-intensive Prompts und Wiederholungsmuster identifizieren; mit der Basislinie vergleichen.
Wann führen wir einen Rollback durch?
Wenn Kostensignale Schwellenwerte überschreiten und die Überprüfung eine Regression im Routing-/Prompt-Verhalten bestätigt.
Welche Beweise sollten wir erfassen?
Routing-Versionen, Prompt-Versionen, Top-Endpunkte, Kosten-pro-Aufgabe-Diagramme und ergriffene Maßnahmen.
Was ist der Präventionsschritt?
Budget-Gates + Canary-Rollout + Überwachungsalarme für die Stückkosten hinzufügen.