Può la prova sopravvivere alla pipeline dell'IA? — La catena di conservazione delle prove

Domanda

Cosa succede quando la fonte originale è corretta, ma la pipeline di IA elimina le informazioni necessarie per comprendere correttamente quella fonte?

Un documento affidabile può diventare un contesto inaffidabile se il parsing rimuove la sua struttura tabellare, il chunking separa una condizione dalla sua eccezione, la normalizzazione elimina le unità, il retrieval perde i metadati di versione o l'assemblaggio del contesto nasconde un conflitto.

Questo articolo utilizza il termine Catena di Conservazione delle Prove per indicare il requisito che le prove mantengano le proprietà necessarie per una corretta interpretazione mentre passano dalla fonte al contesto finale dell'IA.

Una Catena di Conservazione delle Prove è la sequenza end-to-end di trasformazioni attraverso cui le prove devono mantenere identità, provenienza, ambito, significato e validità prima di poter supportare in modo sicuro un'affermazione generata dall'IA.— Definizione operativa — un concetto architetturale introdotto qui, non un termine di ricerca standardizzato.

Cosa Significa Davvero

La maggior parte delle discussioni sul RAG si concentra sulla possibilità di trovare informazioni rilevanti.

Ma le prove di solito passano attraverso diverse trasformazioni prima che il modello le veda.

Original Source
   ↓
Parsing
   ↓
Normalization
   ↓
Chunking
   ↓
Indexing
   ↓
Retrieval
   ↓
Reranking
   ↓
Context Assembly
   ↓
Model
   ↓
Claim

Le prove possono degradarsi in qualsiasi punto di quella catena anche quando il documento originale era perfettamente corretto.

Esempio più Semplice

Immagina che un manuale di prodotto contenga questa affermazione:

Temperatura massima di esercizio: 40 °C, tranne quando è installato l'accessorio X, nel qual caso il limite è 35 °C.— Affermazione di esempio dalla fonte

Un processo di chunking scadente divide la frase.

Chunk A:
Maximum operating temperature: 40 °C.

Chunk B:
Except when accessory X is installed, in which case the limit is 35 °C.

Il retriever restituisce solo il Chunk A.

Il testo recuperato non è fabbricato. Proviene direttamente dal manuale. Eppure il contesto è incompleto esattamente nel modo che conta.

Correct source
        +
lossy transformation
        =
misleading evidence

Dove l'esempio smette di funzionare

La conservazione delle prove non significa copiare ogni byte della fonte invariato nel contesto del modello.

Compressione, normalizzazione, suddivisione in blocchi e riepilogo sono spesso necessari. L'obiettivo è preservare le proprietà richieste per un'interpretazione corretta, non eliminare la trasformazione.

La difficile questione ingegneristica è quindi: quali proprietà sono semanticamente portanti?

Risposta diretta

Una prova sopravvive a una pipeline di IA quando le trasformazioni tra fonte e modello preservano sufficienti metadati di identità, provenienza, struttura, unità, condizioni, conflitti e validità affinché l'informazione recuperata significhi in contesto la stessa cosa che significava alla fonte.

Evidence Preservation
=
meaning
+ identity
+ provenance
+ scope
+ units
+ conditions
+ validity
+ traceability

Perché il RAG può fallire anche con la fonte giusta

Un retriever può trovare il documento corretto pur fornendo l'unità di prova sbagliata.

Il problema potrebbe essersi verificato molto prima: durante l'OCR, il parsing del documento, l'estrazione HTML, la conversione delle tabelle, la mappatura dei campi, la costruzione dei blocchi o la perdita di metadati.

Gli otto punti di conservazione

1. Identità

La pipeline deve preservare quale entità, prodotto, documento, utente, contratto o record la prova descrive effettivamente.

2. Provenienza

Il sistema dovrebbe essere in grado di risalire dalla prova recuperata alla sua fonte originale, non solo a un identificatore di blocco anonimo.

3. Struttura

Tabelle, intestazioni, elenchi, relazioni padre-figlio ed eccezioni possono portare un significato che scompare quando tutto viene appiattito in frammenti di testo indipendenti.

4. Unità

Un numero senza la sua unità può diventare inutile o pericoloso. 100 può significare millisecondi, chilogrammi, euro, volt o percentuale di una linea di base.

5. Condizioni ed eccezioni

Le regole contengono frequentemente condizioni di applicabilità. Separare la regola dall'eccezione può preservare le parole ma distruggere il significato.

6. Versione e tempo

Le prove dovrebbero preservare quando sono diventate valide, quando sono state osservate e se un oggetto più recente le sostituisce.

7. Stato di conflitto

Se due fonti sono in disaccordo, la normalizzazione non dovrebbe selezionare silenziosamente un valore ed eliminare il fatto che il disaccordo esisteva.

8. Ambito di accesso

I confini di autorizzazione e tenant devono rimanere collegati alle prove durante il recupero e l'assemblaggio del contesto.

Dai dati grezzi alle prove controllate

Il luogo più forte per preservare le prove è spesso prima della vettorizzazione.

Se l'identità della fonte, la validità e i conflitti vengono persi prima che vengano creati gli embedding, il recupero non può ricostruirli magicamente in seguito.

L'ingegneria del contesto fa parte della catena

Anche le prove recuperate correttamente possono essere danneggiate durante l'assemblaggio del contesto.

Un costruttore di contesto può troncare un'eccezione, rimuovere le etichette di origine, unire passaggi in conflitto, riordinare le dipendenze o superare il budget di attenzione utile del modello.

Connessione alla distanza probatoria

La conservazione delle prove e la distanza probatoria descrivono diverse modalità di fallimento.

Evidence Preservation Chain:
Did the evidence survive transformation?

Evidence Distance:
How far is the final claim from that evidence?

Un sistema può conservare perfettamente le prove e comunque trarne un'inferenza non supportata. Al contrario, il ragionamento finale può essere semplice mentre le prove stesse erano già corrotte in una fase precedente della pipeline.

Connessione al livello di autorità di recupero

Il livello di autorità di recupero seleziona quale fonte merita peso probatorio.

La catena di conservazione delle prove garantisce che le proprietà che rendono autorevole quella fonte non vengano scartate dopo la selezione.

Authority at source
        ↓
Preservation through pipeline
        ↓
Authority still visible in context

Modello dati pratico

Un'unità di recupero può trasportare più del semplice testo.

{
  "text": "Maximum operating temperature is 40 °C...",
  "sourceId": "manual-v4.2",
  "entityId": "device-184",
  "section": "Operating limits",
  "validFrom": "2026-03-01",
  "unit": "°C",
  "conditions": ["35 °C when accessory X is installed"],
  "authority": "manufacturer_manual",
  "conflicts": [],
  "accessScope": "public"
}

Lo schema esatto dipende dall'applicazione. Il principio architetturale è che il testo recuperabile non dovrebbe diventare separato dai metadati necessari per interpretarlo.

Metodo diagnostico / decisionale

Scegli una risposta importante e traccia un'affermazione di supporto a ritroso attraverso il sistema.

1. Identifica l'affermazione finale.
2. Identifica il passaggio esatto del contesto che l'ha supportata.
3. Identifica il chunk recuperato che ha prodotto quel passaggio.
4. Identifica il record normalizzato o il documento analizzato dietro il chunk.
5. Identifica la fonte originale.
6. Confronta significato, ambito, unità, condizioni e versione a ogni transizione.

Qualsiasi punto in cui il significato essenziale scompare è una rottura nella catena di conservazione delle prove.

Modalità di fallimento: il chunk orfano

Un frammento orfano contiene testo dall'aspetto utile ma nessuna relazione affidabile con la struttura del documento, l'identità della fonte, la versione o le condizioni di applicabilità da cui proviene.

"Refunds are available for 30 days."

Missing:
Which product?
Which country?
Which policy version?
From what effective date?
What exceptions?

La frase può essere autentica e comunque costituire una prova non sicura.

Modalità di errore: normalizzazione per invenzione

La normalizzazione dovrebbe allineare le rappresentazioni. Non dovrebbe inventare silenziosamente valori mancanti per far sembrare completi i record.

Unknown
≠
False
≠
Zero
≠
Default

Preservare le incognite fa parte della conservazione delle prove.

Modalità di errore: collasso dei conflitti

Supponiamo che una fonte approvata dica 24 mesi e un'altra dica 36 mesi.

Una pipeline che si limita a memorizzare l'ultimo valore importato produce un database pulito e distrugge la prova che esisteva un conflitto.

Un sistema verificabile dovrebbe preservare entrambi i valori, la loro provenienza e il conflitto irrisolto finché una regola o una decisione umana non lo risolve.

Modalità di errore: compressione del contesto

La compressione del contesto può essere utile, ma un riassunto che rimuove i qualificatori può aumentare la certezza apparente.

Source:
"Evidence suggests X under conditions A and B, but the sample is small."

Bad compression:
"X is proven."

L'informazione è diventata più breve e meno veritiera allo stesso tempo.

Caso limite: la compressione con perdita può comunque essere corretta

Non ogni perdita è dannosa.

Rimuovere la formattazione visiva da un paragrafo può non avere alcuna conseguenza semantica. Convertire Celsius in Kelvin può preservare il significato se la trasformazione è esplicita e corretta. Deduplicare copie esatte può migliorare il recupero senza perdere prove.

L'obiettivo non è quindi la conservazione senza perdite in ogni fase. È una conservazione semanticamente sufficiente.

Limitazioni

La Catena di Conservazione delle Prove è un quadro architetturale, non una garanzia che le prove conservate vengano interpretate correttamente.

Un modello può ricevere prove perfettamente conservate e ragionare comunque male. Un sistema di recupero può preservare la provenienza e classificare comunque la fonte sbagliata. Anche la fonte stessa può essere errata.

La conservazione protegge la pipeline delle prove. Non sostituisce la valutazione della fonte o il ragionamento.

Cosa Cambierebbe Questa Risposta?

I sistemi futuri potrebbero recuperare oggetti di prova strutturati anziché frammenti di testo, preservare automaticamente i grafi di provenienza ed esporre vincoli di validità leggibili dalla macchina direttamente a modelli e agenti.

Ciò renderebbe la conservazione delle prove più facile da implementare, ma renderebbe il principio più importante anziché meno importante.

Conclusione

Un'IA affidabile richiede più che trovare una fonte corretta.

Le proprietà che rendono utile la fonte devono sopravvivere a parsing, normalizzazione, chunking, recupero e assemblaggio del contesto.

Source Authority
      ↓
Evidence Preservation Chain
      ↓
Retrievable Evidence
      ↓
Evidence Distance
      ↓
Reasoning
      ↓
Answer Validity Boundary

Se la catena si rompe, il modello può ricevere informazioni tecnicamente autentiche ma non più sicure da interpretare come le prove originali.

Fonti Primarie

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview.