Les preuves peuvent-elles survivre au pipeline d’IA ? — La chaîne de préservation des preuves

Question

Que se passe-t-il lorsque la source originale est correcte, mais que le pipeline d'IA supprime les informations nécessaires pour comprendre correctement cette source ?

Un document fiable peut devenir un contexte non fiable si l'analyse supprime sa structure de tableau, le découpage sépare une condition de son exception, la normalisation abandonne les unités, la récupération perd les métadonnées de version ou l'assemblage du contexte masque un conflit.

Cet article utilise le terme Chaîne de préservation des preuves pour désigner l'exigence que les preuves conservent les propriétés nécessaires à une interprétation correcte lorsqu'elles passent de la source au contexte final de l'IA.

Une Chaîne de préservation des preuves est la séquence de transformations de bout en bout à travers laquelle les preuves doivent conserver leur identité, leur provenance, leur portée, leur signification et leur validité avant de pouvoir étayer en toute sécurité une affirmation générée par l'IA.— Définition de travail — un concept architectural introduit ici, et non un terme de recherche standardisé.

Ce que cela signifie vraiment

La plupart des discussions sur le RAG se concentrent sur la question de savoir si des informations pertinentes peuvent être trouvées.

Mais les preuves passent généralement par plusieurs transformations avant que le modèle ne les voie.

Original Source
   ↓
Parsing
   ↓
Normalization
   ↓
Chunking
   ↓
Indexing
   ↓
Retrieval
   ↓
Reranking
   ↓
Context Assembly
   ↓
Model
   ↓
Claim

Les preuves peuvent se dégrader à n'importe quel point de cette chaîne, même lorsque le document original était parfaitement correct.

Exemple le plus simple

Imaginez qu'un manuel de produit contienne cette affirmation :

Température maximale de fonctionnement : 40 °C, sauf lorsque l'accessoire X est installé, auquel cas la limite est de 35 °C.— Exemple d'énoncé source

Un processus de découpage médiocre divise la phrase.

Chunk A:
Maximum operating temperature: 40 °C.

Chunk B:
Except when accessory X is installed, in which case the limit is 35 °C.

Le récupérateur ne renvoie que le Fragment A.

Le texte récupéré n'est pas fabriqué. Il provient directement du manuel. Pourtant, le contexte est incomplet exactement de la manière qui compte.

Correct source
        +
lossy transformation
        =
misleading evidence

Où l'exemple cesse de fonctionner

La préservation des preuves ne signifie pas copier chaque octet source inchangé dans le contexte du modèle.

La compression, la normalisation, le découpage en segments et la synthèse sont souvent nécessaires. L'objectif est de préserver les propriétés requises pour une interprétation correcte, et non d'éliminer la transformation.

La question d'ingénierie difficile est donc : quelles propriétés sont sémantiquement porteuses ?

Réponse directe

Une preuve survit à un pipeline d'IA lorsque les transformations entre la source et le modèle préservent suffisamment d'identité, de provenance, de structure, d'unités, de conditions, de conflits et de métadonnées de validité pour que l'information récupérée signifie la même chose en contexte qu'à la source.

Evidence Preservation
=
meaning
+ identity
+ provenance
+ scope
+ units
+ conditions
+ validity
+ traceability

Pourquoi le RAG peut échouer même avec la bonne source

Un récupérateur peut trouver le bon document tout en fournissant la mauvaise unité de preuve.

Le problème peut être survenu bien plus tôt : lors de l'OCR, de l'analyse de documents, de l'extraction HTML, de la conversion de tableaux, du mappage de champs, de la construction de segments ou de la perte de métadonnées.

Les huit points de préservation

1. Identité

Le pipeline doit préserver quelle entité, produit, document, utilisateur, contrat ou enregistrement la preuve décrit réellement.

2. Provenance

Le système devrait pouvoir retracer la preuve récupérée jusqu'à sa source originale plutôt que seulement jusqu'à un identifiant de segment anonyme.

3. Structure

Les tableaux, les titres, les listes, les relations parent-enfant et les exceptions peuvent porter une signification qui disparaît lorsque tout est aplati en fragments de texte indépendants.

4. Unités

Un nombre sans son unité peut devenir inutile ou dangereux. 100 peut signifier millisecondes, kilogrammes, euros, volts ou pourcentage d'une référence.

5. Conditions et exceptions

Les règles contiennent fréquemment des conditions d'applicabilité. Séparer la règle de l'exception peut préserver les mots tout en détruisant le sens.

6. Version et temps

Les preuves doivent préserver le moment où elles sont devenues valides, le moment où elles ont été observées et si un objet plus récent les remplace.

7. État de conflit

Si deux sources sont en désaccord, la normalisation ne doit pas sélectionner silencieusement une valeur et effacer le fait que le désaccord existait.

8. Portée d'accès

Les limites de permission et de locataire doivent rester attachées aux preuves tout au long de la récupération et de l'assemblage du contexte.

Des données brutes aux preuves contrôlées

L'endroit le plus solide pour préserver les preuves est souvent avant la vectorisation.

Si l'identité de la source, la validité et les conflits sont perdus avant la création des embeddings, la récupération ne peut pas les reconstruire magiquement plus tard.

L'ingénierie du contexte fait partie de la chaîne

Même des preuves correctement récupérées peuvent être endommagées lors de l'assemblage du contexte.

Un constructeur de contexte peut tronquer une exception, supprimer les étiquettes de source, fusionner des passages contradictoires, réordonner les dépendances ou dépasser le budget d'attention utile du modèle.

Lien avec la distance probatoire

La préservation des preuves et la distance probatoire décrivent différents modes de défaillance.

Evidence Preservation Chain:
Did the evidence survive transformation?

Evidence Distance:
How far is the final claim from that evidence?

Un système peut préserver parfaitement les preuves et néanmoins en tirer une inférence non étayée. Inversement, le raisonnement final peut être simple alors que les preuves elles-mêmes étaient déjà corrompues plus tôt dans le pipeline.

Lien avec la couche d'autorité de récupération

La couche d'autorité de récupération sélectionne la source qui mérite un poids probatoire.

La chaîne de préservation des preuves garantit que les propriétés conférant son autorité à cette source ne sont pas écartées après la sélection.

Authority at source
        ↓
Preservation through pipeline
        ↓
Authority still visible in context

Modèle de données pratique

Une unité de récupération peut transporter plus que du texte.

{
  "text": "Maximum operating temperature is 40 °C...",
  "sourceId": "manual-v4.2",
  "entityId": "device-184",
  "section": "Operating limits",
  "validFrom": "2026-03-01",
  "unit": "°C",
  "conditions": ["35 °C when accessory X is installed"],
  "authority": "manufacturer_manual",
  "conflicts": [],
  "accessScope": "public"
}

Le schéma exact dépend de l'application. Le principe architectural est que le texte récupérable ne doit pas se détacher des métadonnées nécessaires à son interprétation.

Méthode de diagnostic / de décision

Choisissez une réponse importante et retracez une affirmation justificative à rebours dans le système.

1. Identifier l'affirmation finale.
2. Identifier le passage de contexte exact qui l'a étayée.
3. Identifier le fragment récupéré qui a produit ce passage.
4. Identifier l'enregistrement normalisé ou le document analysé derrière le fragment.
5. Identifier la source originale.
6. Comparer le sens, la portée, les unités, les conditions et la version à chaque transition.

Tout point où un sens essentiel disparaît constitue une rupture dans la chaîne de préservation des preuves.

Mode de défaillance : le fragment orphelin

Un fragment orphelin contient un texte d'apparence utile mais sans relation fiable avec la structure du document, l'identité de la source, la version ou les conditions d'applicabilité dont il provient.

"Refunds are available for 30 days."

Missing:
Which product?
Which country?
Which policy version?
From what effective date?
What exceptions?

La phrase peut être authentique et rester une preuve non fiable.

Mode de défaillance : Normalisation par invention

La normalisation devrait aligner les représentations. Elle ne devrait pas inventer silencieusement des valeurs manquantes pour donner aux enregistrements une apparence complète.

Unknown
≠
False
≠
Zero
≠
Default

Préserver les inconnues fait partie de la préservation des preuves.

Mode de défaillance : Effondrement des conflits

Supposons qu'une source approuvée indique 24 mois et qu'une autre indique 36 mois.

Un pipeline qui stocke simplement la dernière valeur importée produit une base de données propre et détruit la preuve qu'un conflit existait.

Un système vérifiable devrait préserver les deux valeurs, leur provenance et le conflit non résolu jusqu'à ce qu'une règle ou une décision humaine le résolve.

Mode de défaillance : Compression du contexte

La compression du contexte peut être utile, mais un résumé qui supprime les qualificatifs peut accroître la certitude apparente.

Source:
"Evidence suggests X under conditions A and B, but the sample is small."

Bad compression:
"X is proven."

L'information est devenue plus courte et moins véridique en même temps.

Cas limite : La compression avec perte peut rester correcte

Toutes les pertes ne sont pas nuisibles.

Supprimer la mise en forme visuelle d'un paragraphe peut n'avoir aucune conséquence sémantique. Convertir des degrés Celsius en kelvins peut préserver le sens si la transformation est explicite et correcte. Dédupliquer des copies exactes peut améliorer la récupération sans perdre de preuves.

L'objectif n'est donc pas un stockage sans perte à chaque étape. C'est une préservation sémantiquement suffisante.

Limites

La chaîne de préservation des preuves est un cadre architectural, et non une garantie que les preuves préservées seront interprétées correctement.

Un modèle peut recevoir des preuves parfaitement préservées et mal raisonner malgré tout. Un système de récupération peut préserver la provenance et classer néanmoins la mauvaise source. Une source elle-même peut aussi être erronée.

La préservation protège le pipeline de preuves. Elle ne remplace pas l'évaluation des sources ni le raisonnement.

Qu'est-ce qui changerait cette réponse ?

Les systèmes futurs pourront récupérer des objets de preuve structurés plutôt que des fragments de texte, préserver automatiquement les graphes de provenance et exposer directement aux modèles et aux agents des contraintes de validité lisibles par machine.

Cela rendrait la préservation des preuves plus facile à mettre en œuvre, mais rendrait le principe plus important plutôt que moins important.

Conclusion

Une IA fiable nécessite plus que de trouver une source correcte.

Les propriétés qui rendent la source utile doivent survivre à l'analyse syntaxique, à la normalisation, au découpage, à la récupération et à l'assemblage du contexte.

Source Authority
      ↓
Evidence Preservation Chain
      ↓
Retrievable Evidence
      ↓
Evidence Distance
      ↓
Reasoning
      ↓
Answer Validity Boundary

Si la chaîne se rompt, le modèle peut recevoir des informations techniquement authentiques mais qui ne sont plus sûres à interpréter comme les preuves d'origine.

Sources primaires

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview.