Guida Operativa per il Picco di Costo
Passi per diagnosticare e ridurre i picchi di costo degli LLM rapidamente e in sicurezza.
Pubblicato:
Admin User
Updated:
published
Runbook per picchi di costo
- Blocca modifiche e aggiornamenti di routing
- Identifica i principali chiamanti e i driver di token
- Applica budget/limiti di velocità/caching
- Verifica che il costo per attività torni al valore di riferimento
- Acquisisci prove e aggiorna i controlli
Correlati
Controllo dei picchi di costo (LLMOps) Costo per attività Runbook di rollback AIFAQ
Qual è il passo immediato di contenimento?
Blocca le modifiche di routing/prompt e applica budget o limitazioni per fermare la spesa incontrollata.
Come troviamo la causa velocemente?
Identifica i principali chiamanti, i prompt ad alto consumo di token e i pattern di riprova; confronta con il valore di riferimento.
Quando eseguiamo il rollback?
Se i segnali di costo superano le soglie e la verifica conferma una regressione nel comportamento di routing/prompt.
Quali prove dovremmo acquisire?
Versioni di routing, versioni di prompt, endpoint principali, grafici del costo per attività e azioni intraprese.
Qual è il passo di prevenzione?
Aggiungi gate di budget + rollout canary + avvisi di monitoraggio per il costo unitario.