Quanto dista un'affermazione dell'IA dalle prove? — Distanza probatoria

Domanda

Due risposte AI possono entrambe citare fonti e differire comunque notevolmente nel modo in cui tali fonti supportano direttamente le affermazioni fatte. Come possiamo descrivere questa differenza?

Questo articolo utilizza il termine Distanza Evidenziale per indicare la distanza tra un'affermazione e le prove direttamente ispezionabili che la supportano.

La Distanza Evidenziale è il numero e la forza delle trasformazioni, delle assunzioni e dei passaggi inferenziali che separano un'affermazione dalle prove che possono verificarla direttamente.— Definizione di lavoro — un concetto di ragionamento introdotto qui, non una metrica standardizzata.

Cosa Significa Davvero

Una citazione prova che una fonte è stata referenziata. Non prova automaticamente che la fonte supporti direttamente la frase accanto alla citazione.

Tra un'osservazione originale e una risposta AI finale possono esserci estrazione, parsing, suddivisione in blocchi, recupero, sintesi, interpretazione, aggregazione e inferenza.

Primary evidence
   ↓
Extracted data
   ↓
Retrieved passage
   ↓
Summary
   ↓
Interpretation
   ↓
Inference
   ↓
Final claim

Ogni passaggio può essere legittimo. Ma ogni passaggio può anche introdurre distorsione.

Esempio Più Semplice

Supponiamo che un sensore di temperatura riporti 38,2 °C.

Il valore originale del sensore supporta direttamente la prima affermazione. Non prova da solo la terza.

Evidence exists
        ≠
Evidence directly supports every derived claim

Dove l'Esempio Smette di Funzionare

La Distanza Evidenziale non è semplicemente un conteggio di frasi o passaggi di elaborazione.

Una trasformazione matematicamente valida può preservare le prove quasi perfettamente, mentre una singola interpretazione speculativa può creare un salto epistemico molto più grande.

Il concetto include quindi sia la distanza per trasformazione sia la distanza per inferenza.

Risposta Diretta

La Distanza Probatoria aumenta quando un'affermazione dipende da più trasformazioni, più assunzioni, una provenienza più debole o un'inferenza più forte di quanto le prove sottostanti giustifichino direttamente.

Short distance:
source → claim

Longer distance:
source → extraction → summary → assumption → inference → claim

Una distanza maggiore non rende automaticamente falsa un'affermazione. Significa che la catena di ragionamento richiede più validazione.

Perché Questo È Importante per l'IA

I LLM sono particolarmente bravi a produrre ponti fluidi tra informazioni. Questa capacità è utile, ma la fluidità può nascondere quanto la conclusione si sia allontanata dalle prove recuperate direttamente.

Una risposta può quindi sembrare ben documentata pur contenendo affermazioni il cui supporto esiste solo attraverso diversi passaggi inferenziali non dichiarati.

Quattro Componenti della Distanza Probatoria

1. Distanza di Trasformazione

Quante volte la prova originale è stata convertita, riassunta, normalizzata o riformattata prima di raggiungere il modello?

2. Distanza Inferenziale

Quanti passaggi di ragionamento sono necessari prima che le prove supportino la conclusione finale?

3. Distanza di Provenienza

L'affermazione recuperata può ancora essere ricondotta a una fonte originale identificabile, o è passata attraverso riassunti e copie la cui origine non è chiara?

4. Distanza di Applicabilità

Quanto ragionamento è necessario per stabilire che le prove si applicano a questa esatta versione, utente, giurisdizione, periodo di tempo o situazione?

Distanza Probatoria nel RAG

Il RAG può accorciare una distanza importante: la distanza tra un modello e la conoscenza esterna.

Non accorcia automaticamente la distanza tra un passaggio recuperato e l'affermazione finale.

RAG solves:
model ↔ external information

RAG does not automatically solve:
evidence ↔ justified conclusion

Connessione al Trigger di Recupero

Il Trigger di Recupero chiede se la conoscenza interna del modello è sufficiente.

La Distanza Evidenziale pone una domanda successiva: dopo che l'evidenza è stata recuperata, quanto direttamente supporta ciò che il sistema vuole affermare?

Need evidence?
   ↓
Retrieval Trigger
   ↓
Retrieve
   ↓
How directly does evidence support the claim?
   ↓
Evidence Distance

Una Diagnostica Pratica

Per un'affermazione importante generata dall'IA, ricostruisci la catena di supporto a ritroso.

CLAIM
  ↑
Which inference produced it?
  ↑
Which retrieved evidence supports that inference?
  ↑
Which source produced that evidence?
  ↑
Can the original source still be inspected?

Se la catena si interrompe, il sistema ha incontrato un problema di tracciabilità dell'evidenza.

Se la catena rimane intatta ma richiede diverse assunzioni forti, la Distanza Evidenziale è ancora alta.

Esempio: Dati di Prodotto

Supponiamo che una specifica del produttore indichi che un laptop pesa 1,48 kg.

Manufacturer specification
→ 1.48 kg
→ "The laptop weighs 1.48 kg"

Low Evidence Distance

Ora considera:

Manufacturer specification
→ 1.48 kg
→ comparison with three competitors
→ assumption about travel behavior
→ "This is the best laptop for frequent travelers"

Much higher Evidence Distance

La specifica è reale. La raccomandazione è ancora a diversi passaggi di ragionamento da essa.

Esempio: Evidenza Scientifica

Un articolo può riportare un'associazione osservata. Una risposta AI può comprimerla erroneamente in un'affermazione causale.

Observed association
        ↓
Interpretation
        ↓
Unstated causal assumption
        ↓
"X causes Y"

Il problema non è che non esista alcuna evidenza. Il problema è che l'affermazione finale supera una distanza probatoria maggiore di quella che lo studio supporta direttamente.

Connessione al Contesto Agent-Ready

Gli oggetti informativi strutturati possono ridurre la Distanza Probatoria evitabile preservando l'identità della fonte, le unità, i timestamp, i conflitti e la validità invece di costringere il modello a ricostruirli da testo appiattito.

Una Semplice Scala di Lavoro

Questa scala è illustrativa, non uno standard scientifico. Il suo scopo è forzare una domanda esplicita: Quanto abbiamo dovuto aggiungere tra l'evidenza e l'affermazione?

Idee Sbagliate

Una citazione significa che la Distanza Probatoria è bassa. No. Una citazione può trovarsi accanto a un'affermazione che supera sostanzialmente ciò che la fonte citata stabilisce.

Una lunga Distanza Probatoria significa che l'affermazione è sbagliata. No. Le conclusioni complesse possono essere ben supportate, ma richiedono una catena di ragionamento più forte.

Le fonti primarie eliminano l'inferenza. No. L'evidenza primaria può comunque richiedere interpretazione.

Più fonti riducono automaticamente la distanza. Dieci deboli ripetizioni della stessa affermazione non supportata non creano evidenza diretta.

Caso Limite: Dati Derivati

Alcuni valori derivati sono più affidabili delle descrizioni umane grezze. Un totale calcolato correttamente da transazioni verificate può essere altamente affidabile anche se è a una trasformazione di distanza dai record originali.

La Distanza Evidenziale misura quindi la separazione epistemica, non una preferenza semplicistica per i dati non toccati.

Limitazioni

La Distanza Evidenziale è una diagnostica concettuale, non un punteggio quantitativo universale.

Domini diversi richiedono trattamenti diversi dell'inferenza. La prova matematica, l'evidenza clinica, i log software, l'analisi di mercato e l'interpretazione storica non possono condividere un'unica soglia numerica universale.

Cosa Cambierebbe Questa Risposta?

I futuri sistemi di IA potrebbero generare grafi di provenienza espliciti, collegamenti verificabili automaticamente tra affermazioni ed evidenze e tracce di ragionamento tipizzate. Ciò potrebbe rendere parti della Distanza Evidenziale misurabili automaticamente.

Il problema di fondo rimane: un'affermazione può allontanarsi dalla sua evidenza anche mentre ogni frase intermedia suona plausibile.

Conclusione

La distinzione importante non è semplicemente tra risposte con fonti e risposte senza fonti.

È tra affermazioni che rimangono vicine a evidenze direttamente ispezionabili e affermazioni che dipendono da catene sempre più lunghe di interpretazione e assunzione.

Evidence
   ↓
Evidence Distance
   ↓
Reasoning
   ↓
Answer Validity Boundary

La Distanza Evidenziale ci fornisce un linguaggio per descrivere quello spazio.

Fonti Primarie

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview. Un modello standardizzato per rappresentare le relazioni di provenienza.