Strategia di Ripiego

Strategia di Fallback

I fallback mantengono i sistemi sicuri quando gli LLM falliscono o si degradano.

Pattern aziendali: timeout, routing a livelli, risposte memorizzate nella cache e modalità di degrado sicuro.

Vedi anche

FAQ

Cos'è un fallback?
Un percorso alternativo più sicuro quando l'LLM fallisce, si degrada o va in timeout.

Quali sono le modalità di fallback comuni?
Modello più semplice, risposte memorizzate nella cache, risposte basate su regole o rifiuto/escalation a un umano.

Come sappiamo che i fallback funzionano?
Misurare il tasso di fallback, il tasso di successo e l'impatto su risultati e costi.

Qual è una modalità di errore comune?
Nessun fallback → l'utente vede errori o comportamenti instabili sotto carico.

Qual è il primo miglioramento?
Aggiungere timeout e un percorso di fallback deterministico per i flussi critici.