Comment savoir si un agent IA a réellement utilisé les bonnes preuves

Un agent d'IA peut citer des sources, extraire des documents et pourtant utiliser les mauvaises preuves. Une source peut être faisant autorité mais sans rapport avec l'affirmation exacte. Un extrait récupéré peut ne soutenir qu'une partie d'une réponse. Une source correcte peut être obsolète, remplacée ou valide pour une juridiction, une version de produit, un utilisateur ou un état de système inadéquat. Cela crée un problème d'évaluation plus difficile que la simple vérification des citations : l'agent a-t-il réellement utilisé les bonnes preuves pour l'affirmation qu'il a formulée ?

Pourquoi les citations ne suffisent pas

Une citation ne répond qu'à une question restreinte : le système a associé une affirmation ou une réponse à une source. Elle n'établit pas automatiquement que la source étaye l'affirmation spécifique, que la source fasse suffisamment autorité pour la tâche, que le passage cité contienne la condition ou l'exception nécessaire, ou que le modèle se soit appuyé sur cette preuve plutôt que de produire la réponse à partir de ses connaissances préalables.

Les recommandations d'Anthropic pour l'évaluation des agents de recherche distinguent explicitement l'ancrage, la couverture et la qualité des sources. Les conseils d'OpenAI sur l'évaluation des agents mettent de même l'accent sur les traces d'exécution, car le résultat final ne révèle pas si l'agent a sélectionné les bons outils ou suivi le flux de travail prévu. Ces idées mènent à une conclusion plus large : la qualité des preuves est une propriété du chemin d'exécution, et pas seulement du texte final.

Les quatre questions auxquelles chaque affirmation essentielle doit répondre

1. Soutien de l'affirmation : la source établit-elle ce que dit l'agent ?

Les preuves doivent être évaluées au niveau de chaque affirmation. Un document peut être pertinent par rapport au sujet et pourtant ne pas étayer une déclaration précise. Si une source indique qu'une fonctionnalité est disponible dans certaines régions, la réponse « la fonctionnalité est disponible dans le monde entier » n'est pas étayée, même si la citation semble plausible.

C'est ici que les jugements larges de type « ancré / non ancré » sont souvent trop imprécis. Décomposez la réponse en affirmations essentielles, associez chaque affirmation au segment de preuve le plus court qui l'étaye, et classez la relation : soutien direct, soutien partiel, contradiction ou absence de soutien.

2. Autorité de la preuve : s'agit-il du bon type de source ?

La sélection de la bonne preuve ne se résume pas à la pertinence sémantique. La source doit convenir à la décision prise. Le statut actuel d'un compte doit provenir du système de gestion des comptes, et non d'un ancien e-mail. Une affirmation sur le comportement d'une API doit de préférence être vérifiée par rapport à la documentation actuelle du fournisseur ou à un comportement reproductible. Une exigence légale peut nécessiter la loi applicable, les textes du régulateur ou des directives officielles plutôt qu'un article de blog généraliste.

L'autorité d'une source dépend de la tâche. Un rapport de la communauté peut constituer la meilleure preuve pour un bogue réel non reconnu par la documentation du fournisseur. Une annonce d'un fournisseur peut faire autorité quant à ce qu'il revendique, mais représenter une preuve faible pour des performances mesurées de manière indépendante. L'évaluateur a donc besoin d'une hiérarchie explicite des sources pour la tâche en cours, plutôt que d'un score universel d'autorité.

3. Applicabilité : bonne preuve, mauvaises conditions

Les erreurs de preuves les plus dangereuses ne proviennent souvent pas de sources inventées, mais de sources valides utilisées en dehors de leur champ d'application. Une recommandation peut varier selon la version logicielle, la date, la juridiction, la révision matérielle, les permissions utilisateur, la disponibilité du produit, l'état actuel de la partie, la configuration du locataire ou d'autres variables d'environnement.

Pour chaque source essentielle, conservez les conditions qui déterminent si elle s'applique toujours. Cela s'avère particulièrement crucial après une synthèse : une mémoire compressée ou une citation peut conserver la conclusion tout en omettant l'exception, la date ou le prérequis qui rendait cette conclusion valide.

4. Utilisation des preuves : l'agent s'est-il réellement appuyé sur les preuves ?

Une réponse peut être correcte même lorsque la recherche documentaire a échoué. Le modèle connaît peut-être déjà la réponse, la déduit d'un contexte sans rapport, ou devine tout simplement juste. Si l'évaluation ne vérifie que l'exactitude finale, le système peut sembler bien étayé alors que le cheminement des preuves est rompu.

Pour évaluer l'utilisation des preuves, examinez la trace d'exécution. Vérifiez quelles sources ont été récupérées, quels passages ont intégré le contexte du modèle, à quel moment ils sont devenus disponibles, et si l'affirmation finale peut s'expliquer par ces éléments fournis. Les outils actuels d'évaluation d'agents d'OpenAI mettent précisément l'accent sur l'évaluation des traces, car le comportement au niveau du workflow ne peut pas être reconstitué de manière fiable à partir de la seule réponse finale.

Le test d'utilisation des preuves (Evidence Utilization Test)

Une évaluation pratique peut être conçue sous la forme d'un contrefactuel contrôlé. Au lieu de se demander uniquement si la réponse est correcte, modifiez la preuve et observez si l'affirmation évolue dans le sens attendu.

Une matrice affirmations–preuves est plus utile qu'une liste de sources

Cette matrice soulève plusieurs questions que la simple vérification des citations occulte. Une affirmation peut nécessiter plusieurs sources. Une source peut n'étayer qu'une partie d'une affirmation. Une source faisant autorité peut avoir une fenêtre de validité très courte. Et une source parfaitement valable peut être inutile si elle n'a jamais intégré le flux d'exécution.

Distinguer la qualité de la recherche documentaire de la qualité des preuves

Les métriques de recherche documentaire visent à savoir si des documents pertinents ont été trouvés et classés. L'évaluation des preuves vise à savoir si ces documents justifient les affirmations obtenues. Les deux aspects sont liés, mais distincts.

Évaluer la qualité des sources via une grille critériée, non par une liste blanche de domaines

Les listes prédéfinies de « domaines de confiance » sont tentantes, mais souvent fragiles. La qualité d'une source doit plutôt refléter le type d'affirmation. Parmi les critères pertinents figurent le caractère primaire ou secondaire de la source, sa récence, son caractère direct, sa reproductibilité, son indépendance, l'expertise du domaine, la provenance des données, la fréquence de mise à jour, et l'éventuelle incitation de la source à exagérer l'affirmation.

Les recommandations d'Anthropic pour l'évaluation des agents de recherche mentionnent explicitement le contrôle de la qualité des sources aux côtés de l'ancrage factuel et de la couverture. La mise en œuvre pratique doit donc évaluer à la fois ce que dit la source et si cette source est appropriée pour ce type d'affirmation.

Couverture des preuves : chaque affirmation importante doit être étayée, pas chaque phrase

Toutes les phrases ne nécessitent pas de citation. Le langage de transition, les calculs arithmétiques dérivés de manière transparente à partir de valeurs citées ou les interprétations clairement indiquées peuvent ne pas requérir de source distincte. Mais chaque affirmation matérielle et vérifiable de manière externe doit bénéficier d'un appui suffisant pour qu'un évaluateur puisse reconstituer pourquoi l'agent a été autorisé à l'énoncer.

La couverture doit donc être pondérée en fonction de l'importance de l'affirmation. L'absence de justification pour un détail décoratif n'équivaut pas à l'absence de justification pour un prix, une décision d'éligibilité, une consigne de sécurité, une exigence légale, une déclaration de compatibilité technique ou un fait déterminant pour une recommandation.

La provenance des preuves doit survivre à la résumation et à la mémoire

Les agents à exécution longue résument souvent les travaux précédents ou enregistrent des mémoires durables. Si la provenance des preuves est supprimée lors de cette transformation, les futurs agents risquent de récupérer une conclusion nette sans savoir si elle provient d'une déclaration de l'utilisateur, d'une API en direct, d'un ancien document, d'une inférence du modèle ou d'un résultat Web non vérifié.

Pour les faits importants, conservez au minimum l'identité de la source, l'horodatage de récupération ou d'observation, le type de preuve, la version ou l'état pertinent, et indiquez si le texte stocké est cité, résumé, inféré ou dérivé. La provenance est ce qui permet à un agent ultérieur de décider si la preuve doit être acceptée, actualisée, restreinte ou rejetée.

Un registre de preuves pratique

Modes de défaillance semblant fondés mais qui ne le sont pas

Comment évaluer l'agent en production

Les recommandations actuelles d'OpenAI en matière d'évaluation préconisent des évaluations adaptées à la tâche, une évaluation continue, des jeux de données issus de la production et des traces pour déboguer le comportement de l'agent. De même, Anthropic recommande de combiner plusieurs types d'évaluateurs pour les agents de recherche, car l'exactitude, la qualité des sources, la couverture et le fondement factuel constituent des dimensions distinctes. L'évaluation des preuves doit suivre le même modèle : plusieurs évaluateurs ciblés fournissent un meilleur diagnostic qu'un score de « qualité » opaque unique.

Ne laissez pas un juge LLM être le seul juge des preuves

Les évaluateurs LLM sont utiles pour classifier à grande échelle des affirmations, vérifier la pertinence et réaliser des comparaisons par paires, mais ils peuvent partager les mêmes angles morts que le système qu'ils évaluent. Un évaluateur peut accepter une affirmation plausible mais non étayée, manquer une limite subtile de version ou surévaluer une source bien formulée.

Les directives d'évaluation d'OpenAI recommandent de calibrer les évaluateurs automatisés par rapport au jugement humain et d'utiliser des critères clairs et bien définis. Pour les systèmes riches en preuves, des vérifications déterministes doivent être utilisées dans la mesure du possible : horodatages, versions d'objets, périmètre des autorisations, identifiants exacts de sources, ordre de récupération, hachages de documents et présence effective de la preuve avant que le modèle ne génère l'affirmation.

Qu'est-ce qui modifierait cette réponse ?

L'évaluation peut être plus simple lorsque l'agent opère sur un corpus restreint, immuable et faisant autorité, et que chaque réponse est strictement extractive. Dans un tel environnement, l'autorité de la source et son applicabilité sont en grande partie fixes, et la vérification de l'appui d'un extrait à une affirmation peut suffire.

L'évaluation doit devenir plus stricte lorsque l'agent combine recherche Web, mémoire à long terme, outils en direct, juridictions multiples, informations évoluant rapidement, état propre à l'utilisateur ou actions autonomes. Dans ces systèmes, la validité des preuves dépend non seulement du texte source, mais aussi du moment et de la manière dont les preuves ont été obtenues.

Les futurs modèles deviendront peut-être plus performants pour suivre en interne la provenance et l'incertitude, mais cela ne supprimera pas la nécessité de conserver des enregistrements de preuves externes dans les systèmes nécessitant une auditabilité. Un système ne devrait pas dépendre de l'auto-évaluation du modèle sur ce qui l'a influencé lorsque les traces et les métadonnées de source peuvent fournir des preuves plus solides.

Limites

Il n'est pas toujours possible de prouver l'utilisation causale des preuves uniquement à partir des traces. Une source peut être présente dans le contexte sans influencer la réponse, et un modèle peut connaître indépendamment le même fait. Les tests contrefactuels renforcent l'inférence, mais peuvent eux-mêmes modifier la distribution de la tâche.

L'autorité de la source peut également être contestée ou dépendre du domaine. Certaines questions ne comportent aucune source faisant autorité unique, et les experts peuvent être en désaccord sur la preuve qui mérite le plus de poids. Dans ces cas, l'évaluateur doit préserver le désaccord et noter la transparence, la couverture et le raisonnement selon une grille explicite plutôt que de prétendre qu'il existe une source de vérité incontestée.

Conclusion

La question « L'agent a-t-il cité une source ? » est trop faible pour l'IA en production. La question la plus pertinente est la suivante : chaque affirmation importante provient-elle d'une preuve qui l'étaye réellement, dispose-t-elle de l'autorité requise, s'applique-t-elle toujours aux conditions actuelles et était-elle disponible dans le chemin d'exécution avant que l'affirmation ne soit formulée ?

Cela transforme la preuve, passant du simple élément décoratif à une propriété évaluable du système. Capturez la trace. Associez les affirmations aux preuves. Vérifiez l'autorité et l'applicabilité. Exécutez des tests de preuves contrefactuels. Préservez la provenance à travers les résumés et la mémoire. Dès lors, une réponse correcte n'est plus seulement plausible : elle dispose d'un chemin de preuves vérifiable.

FAQ

Glossaire

Sources principales et lectures complémentaires