Wie weit ist eine KI-Behauptung von den Beweisen entfernt? — Evidenzabstand

Frage

Zwei KI-Antworten können beide Quellen zitieren und sich dennoch stark darin unterscheiden, wie direkt diese Quellen die getroffenen Aussagen stützen. Wie können wir diesen Unterschied beschreiben?

Dieser Artikel verwendet den Begriff Evidenzdistanz für den Abstand zwischen einer Aussage und der direkt überprüfbaren Evidenz, die sie stützt.

Evidenzdistanz ist die Anzahl und Stärke von Transformationen, Annahmen und Inferenzschritten, die eine Aussage von der Evidenz trennen, die sie direkt verifizieren kann.— Arbeitsdefinition — ein hier eingeführtes Denkkonzept, keine standardisierte Metrik.

Was das wirklich bedeutet

Ein Zitat beweist, dass eine Quelle referenziert wurde. Es beweist nicht automatisch, dass die Quelle den Satz neben dem Zitat direkt stützt.

Zwischen einer ursprünglichen Beobachtung und einer endgültigen KI-Antwort können Extraktion, Parsing, Chunking, Retrieval, Zusammenfassung, Interpretation, Aggregation und Inferenz liegen.

Primary evidence
   ↓
Extracted data
   ↓
Retrieved passage
   ↓
Summary
   ↓
Interpretation
   ↓
Inference
   ↓
Final claim

Jeder Schritt kann legitim sein. Aber jeder Schritt kann auch Verzerrung einführen.

Einfachstes Beispiel

Angenommen, ein Temperatursensor meldet 38,2 °C.

Der ursprüngliche Sensorwert stützt die erste Aussage direkt. Er beweist für sich genommen nicht die dritte.

Evidence exists
        ≠
Evidence directly supports every derived claim

Wo das Beispiel nicht mehr funktioniert

Evidenzdistanz ist nicht einfach eine Zählung von Sätzen oder Verarbeitungsschritten.

Eine mathematisch gültige Transformation kann Evidenz nahezu perfekt bewahren, während eine einzige spekulative Interpretation einen viel größeren epistemischen Sprung erzeugen kann.

Das Konzept umfasst daher sowohl Distanz durch Transformation als auch Distanz durch Inferenz.

Direkte Antwort

Die Evidenzdistanz nimmt zu, wenn eine Behauptung von mehr Transformationen, mehr Annahmen, schwächerer Provenienz oder stärkerer Inferenz abhängt, als die zugrunde liegende Evidenz direkt rechtfertigt.

Short distance:
source → claim

Longer distance:
source → extraction → summary → assumption → inference → claim

Eine größere Distanz macht eine Behauptung nicht automatisch falsch. Sie bedeutet, dass die Argumentationskette mehr Validierung erfordert.

Warum das für KI wichtig ist

LLMs sind besonders gut darin, flüssige Brücken zwischen Informationen zu erzeugen. Diese Fähigkeit ist nützlich, aber Flüssigkeit kann verbergen, wie weit sich die Schlussfolgerung von der direkt abgerufenen Evidenz entfernt hat.

Eine Antwort kann daher gut belegt erscheinen, während sie Behauptungen enthält, deren Stützung nur durch mehrere unausgesprochene Inferenzschritte besteht.

Vier Komponenten der Evidenzdistanz

1. Transformationsdistanz

Wie oft wurde die ursprüngliche Evidenz konvertiert, zusammengefasst, normalisiert oder umformatiert, bevor sie das Modell erreicht hat?

2. Inferenzdistanz

Wie viele Argumentationsschritte sind erforderlich, bevor die Evidenz die endgültige Schlussfolgerung stützt?

3. Provenienzdistanz

Kann die abgerufene Aussage noch auf eine identifizierbare Originalquelle zurückgeführt werden, oder ist sie durch Zusammenfassungen und Kopien gegangen, deren Ursprung unklar ist?

4. Anwendbarkeitsdistanz

Wie viel Argumentation ist erforderlich, um festzustellen, dass die Evidenz auf genau diese Version, diesen Nutzer, diese Gerichtsbarkeit, diesen Zeitraum oder diese Situation zutrifft?

Evidenzdistanz in RAG

RAG kann eine wichtige Distanz verkürzen: die Distanz zwischen einem Modell und externem Wissen.

Es verkürzt nicht automatisch die Distanz zwischen einer abgerufenen Passage und der endgültigen Behauptung.

RAG solves:
model ↔ external information

RAG does not automatically solve:
evidence ↔ justified conclusion

Verbindung zum Retrieval Trigger

Der Retrieval Trigger fragt, ob das interne Modellwissen ausreichend ist.

Evidence Distance stellt eine spätere Frage: Wie direkt stützt es, nachdem Evidenz abgerufen wurde, das, was das System behaupten möchte?

Need evidence?
   ↓
Retrieval Trigger
   ↓
Retrieve
   ↓
How directly does evidence support the claim?
   ↓
Evidence Distance

Eine praktische Diagnose

Rekonstruieren Sie für eine wichtige KI-generierte Behauptung die Stützkette rückwärts.

CLAIM
  ↑
Which inference produced it?
  ↑
Which retrieved evidence supports that inference?
  ↑
Which source produced that evidence?
  ↑
Can the original source still be inspected?

Wenn die Kette bricht, ist das System auf ein Problem der Evidenznachverfolgbarkeit gestoßen.

Wenn die Kette intakt bleibt, aber mehrere starke Annahmen erfordert, ist die Evidence Distance immer noch hoch.

Beispiel: Produktdaten

Angenommen, eine Herstellerspezifikation besagt, dass ein Laptop 1,48 kg wiegt.

Manufacturer specification
→ 1.48 kg
→ "The laptop weighs 1.48 kg"

Low Evidence Distance

Betrachten Sie nun:

Manufacturer specification
→ 1.48 kg
→ comparison with three competitors
→ assumption about travel behavior
→ "This is the best laptop for frequent travelers"

Much higher Evidence Distance

Die Spezifikation ist real. Die Empfehlung ist noch mehrere Argumentationsschritte davon entfernt.

Beispiel: Wissenschaftliche Evidenz

Eine Studie kann eine beobachtete Assoziation berichten. Eine KI-Antwort kann diese fälschlicherweise zu einer Kausalaussage verdichten.

Observed association
        ↓
Interpretation
        ↓
Unstated causal assumption
        ↓
"X causes Y"

Das Problem ist nicht, dass keine Evidenz existiert. Das Problem ist, dass die abschließende Aussage eine größere Evidenzdistanz überbrückt, als die Studie direkt stützt.

Verbindung zu Agent-Ready Context

Strukturierte Informationsobjekte können vermeidbare Evidenzdistanz reduzieren, indem sie Quellenidentität, Einheiten, Zeitstempel, Konflikte und Gültigkeit bewahren, anstatt das Modell zu zwingen, sie aus abgeflachtem Text zu rekonstruieren.

Eine einfache Arbeitsskala

Diese Skala ist illustrativ, kein wissenschaftlicher Standard. Ihr Zweck ist es, eine explizite Frage zu erzwingen: Wie viel mussten wir zwischen der Evidenz und der Behauptung hinzufügen?

Missverständnisse

Eine Zitation bedeutet, dass die Evidenzdistanz gering ist. Nein. Eine Zitation kann neben einer Behauptung stehen, die das, was die zitierte Quelle belegt, erheblich überschreitet.

Eine lange Evidenzdistanz bedeutet, dass die Behauptung falsch ist. Nein. Komplexe Schlussfolgerungen können gut gestützt sein, erfordern aber eine stärkere Argumentationskette.

Primärquellen eliminieren Inferenz. Nein. Primäre Evidenz kann dennoch Interpretation erfordern.

Mehr Quellen reduzieren automatisch die Distanz. Zehn schwache Wiederholungen derselben ungestützten Behauptung erzeugen keine direkte Evidenz.

Grenzfall: Abgeleitete Daten

Einige abgeleitete Werte sind zuverlässiger als rohe menschliche Beschreibungen. Eine korrekt berechnete Summe aus verifizierten Transaktionen kann äußerst verlässlich sein, obwohl sie nur eine Transformation von den Originalaufzeichnungen entfernt ist.

Die Evidenzdistanz misst daher die epistemische Trennung, nicht eine vereinfachte Vorliebe für unberührte Daten.

Einschränkungen

Die Evidenzdistanz ist eine konzeptionelle Diagnose, kein universeller quantitativer Wert.

Verschiedene Domänen erfordern unterschiedliche Behandlung von Inferenz. Mathematische Beweise, klinische Evidenz, Softwareprotokolle, Marktanalysen und historische Interpretation können keinen gemeinsamen universellen numerischen Schwellenwert teilen.

Was würde diese Antwort ändern?

Zukünftige KI-Systeme könnten explizite Provenienzgraphen, maschinenprüfbare Behauptungs-Evidenz-Verknüpfungen und typisierte Argumentationsspuren generieren. Das könnte Teile der Evidenzdistanz automatisch messbar machen.

Das zugrunde liegende Problem bleibt bestehen: Eine Behauptung kann sich weiter von ihrer Evidenz entfernen, selbst wenn jeder Zwischensatz plausibel klingt.

Fazit

Die wichtige Unterscheidung liegt nicht nur zwischen belegten und unbelegten Antworten.

Sie liegt zwischen Behauptungen, die nahe an direkt überprüfbarer Evidenz bleiben, und Behauptungen, die von zunehmend langen Ketten der Interpretation und Annahme abhängen.

Evidence
   ↓
Evidence Distance
   ↓
Reasoning
   ↓
Answer Validity Boundary

Die Evidenzdistanz gibt uns eine Sprache, um diesen Raum zu beschreiben.

Primärquellen

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview. Ein standardisiertes Modell zur Darstellung von Provenienzbeziehungen.