Coût par Tâche

Coût par tâche

Le coût par tâche est la métrique unitaire pour contrôler les dépenses LLM.

Contrôlez-le avec des budgets, du routage, de la mise en cache et des déclencheurs basés sur la surveillance.

Voir aussi

FAQ

Qu'est-ce que le coût par tâche ?
Le coût moyen pour accomplir une unité de travail (y compris les tentatives, la récupération et les solutions de repli).

Comment réduire le coût par tâche ?
Routage, mise en cache, optimisation des invites et réduction des tentatives grâce à une meilleure évaluation.

Comment détecter les pics de coût ?
Surveillez la distribution des coûts par tâche et alertez en cas d'anomalies.

Quel est un anti-modèle courant ?
Suivre uniquement les dépenses totales, et non l'économie unitaire par tâche.

Quelle est la première amélioration ?
Instrumenter le coût par requête/tâche et définir un seuil budgétaire.