Kann Beweismaterial die KI-Pipeline überleben? — Die Beweiserhaltungskette

Frage

Was passiert, wenn die ursprüngliche Quelle korrekt ist, aber die KI-Pipeline die Informationen entfernt, die erforderlich sind, um diese Quelle korrekt zu verstehen?

Ein zuverlässiges Dokument kann zu einem unzuverlässigen Kontext werden, wenn das Parsing seine Tabellenstruktur entfernt, das Chunking eine Bedingung von ihrer Ausnahme trennt, die Normalisierung Einheiten fallen lässt, das Retrieval Versionsmetadaten verliert oder die Kontextzusammenstellung einen Konflikt verbirgt.

Dieser Artikel verwendet den Begriff Evidence Preservation Chain für die Anforderung, dass Beweise die für eine korrekte Interpretation notwendigen Eigenschaften behalten müssen, während sie von der Quelle zum endgültigen KI-Kontext wandern.

Eine Evidence Preservation Chain ist die End-to-End-Sequenz von Transformationen, durch die Beweise Identität, Herkunft, Umfang, Bedeutung und Gültigkeit behalten müssen, bevor sie sicher eine KI-generierte Behauptung stützen können.— Arbeitsdefinition — ein hier eingeführtes architektonisches Konzept, kein standardisierter Forschungsbegriff.

Was das wirklich bedeutet

Die meisten Diskussionen über RAG konzentrieren sich darauf, ob relevante Informationen gefunden werden können.

Aber Beweise durchlaufen normalerweise mehrere Transformationen, bevor das Modell sie sieht.

Original Source
   ↓
Parsing
   ↓
Normalization
   ↓
Chunking
   ↓
Indexing
   ↓
Retrieval
   ↓
Reranking
   ↓
Context Assembly
   ↓
Model
   ↓
Claim

Die Beweise können an jedem Punkt dieser Kette verfallen, selbst wenn das Originaldokument vollkommen korrekt war.

Einfachstes Beispiel

Stellen Sie sich vor, ein Produkthandbuch enthält diese Aussage:

Maximale Betriebstemperatur: 40 °C, außer wenn Zubehör X installiert ist, in diesem Fall beträgt die Grenze 35 °C.— Beispiel-Quellaussage

Ein schlechter Chunking-Prozess teilt den Satz auf.

Chunk A:
Maximum operating temperature: 40 °C.

Chunk B:
Except when accessory X is installed, in which case the limit is 35 °C.

Der Retriever gibt nur Chunk A zurück.

Der abgerufene Text ist nicht erfunden. Er stammt direkt aus dem Handbuch. Dennoch ist der Kontext genau auf die Weise unvollständig, die entscheidend ist.

Correct source
        +
lossy transformation
        =
misleading evidence

Wo das Beispiel nicht mehr funktioniert

Beweiserhaltung bedeutet nicht, jedes Quellbyte unverändert in den Modellkontext zu kopieren.

Komprimierung, Normalisierung, Chunking und Zusammenfassung sind oft notwendig. Das Ziel ist, die für eine korrekte Interpretation erforderlichen Eigenschaften zu bewahren, nicht die Transformation zu eliminieren.

Die schwierige technische Frage lautet daher: Welche Eigenschaften sind semantisch tragend?

Direkte Antwort

Beweise überleben eine KI-Pipeline, wenn die Transformationen zwischen Quelle und Modell genügend Identität, Herkunft, Struktur, Einheiten, Bedingungen, Konflikte und Gültigkeitsmetadaten bewahren, damit die abgerufene Information im Kontext dasselbe bedeutet wie an der Quelle.

Evidence Preservation
=
meaning
+ identity
+ provenance
+ scope
+ units
+ conditions
+ validity
+ traceability

Warum RAG selbst mit der richtigen Quelle fehlschlagen kann

Ein Retriever kann das richtige Dokument finden und dennoch die falsche Beweiseinheit liefern.

Das Problem kann viel früher aufgetreten sein: während OCR, Dokumentenparsing, HTML-Extraktion, Tabellenkonvertierung, Feldzuordnung, Chunk-Erstellung oder Metadatenverlust.

Die acht Erhaltungspunkte

1. Identität

Die Pipeline muss bewahren, welche Entität, welches Produkt, Dokument, welchen Benutzer, Vertrag oder Datensatz der Beweis tatsächlich beschreibt.

2. Herkunft

Das System sollte in der Lage sein, den abgerufenen Beweis bis zu seiner Originalquelle zurückzuverfolgen und nicht nur bis zu einer anonymen Chunk-Kennung.

3. Struktur

Tabellen, Überschriften, Listen, Eltern-Kind-Beziehungen und Ausnahmen können Bedeutung tragen, die verschwindet, wenn alles in unabhängige Textfragmente zerlegt wird.

4. Einheiten

Eine Zahl ohne ihre Einheit kann nutzlos oder gefährlich werden. 100 kann Millisekunden, Kilogramm, Euro, Volt oder Prozent eines Basiswerts bedeuten.

5. Bedingungen und Ausnahmen

Regeln enthalten häufig Anwendbarkeitsbedingungen. Die Trennung der Regel von der Ausnahme kann die Wörter bewahren, während sie die Bedeutung zerstört.

6. Version und Zeit

Belege sollten bewahren, wann sie gültig wurden, wann sie beobachtet wurden und ob ein neueres Objekt sie ersetzt.

7. Konfliktstatus

Wenn zwei Quellen nicht übereinstimmen, sollte die Normalisierung nicht stillschweigend einen Wert auswählen und die Tatsache löschen, dass eine Uneinigkeit bestand.

8. Zugriffsbereich

Berechtigungs- und Mandantengrenzen müssen während des gesamten Abrufs und der Kontextzusammenstellung an Belege gebunden bleiben.

Von Rohdaten zu kontrollierten Belegen

Der stärkste Ort zur Bewahrung von Belegen liegt oft vor der Vektorisierung.

Wenn Quellenidentität, Gültigkeit und Konflikte verloren gehen, bevor Embeddings erstellt werden, kann der Abruf sie später nicht magisch rekonstruieren.

Kontext-Engineering ist Teil der Kette

Selbst korrekt abgerufene Belege können während der Kontextzusammenstellung beschädigt werden.

Ein Kontext-Builder kann eine Ausnahme abschneiden, Quellenbezeichnungen entfernen, widersprüchliche Passagen zusammenführen, Abhängigkeiten neu anordnen oder das nützliche Aufmerksamkeitsbudget des Modells überschreiten.

Verbindung zur Evidenzdistanz

Evidenzerhaltung und Evidenzdistanz beschreiben unterschiedliche Fehlermodi.

Evidence Preservation Chain:
Did the evidence survive transformation?

Evidence Distance:
How far is the final claim from that evidence?

Ein System kann Evidenz perfekt erhalten und dennoch eine nicht gestützte Schlussfolgerung daraus ziehen. Umgekehrt kann die endgültige Argumentation einfach sein, während die Evidenz selbst bereits früher in der Pipeline beschädigt wurde.

Verbindung zur Retrieval-Autoritätsschicht

Die Retrieval-Autoritätsschicht wählt aus, welche Quelle Evidenzgewicht verdient.

Die Evidenzerhaltungskette stellt sicher, dass die Eigenschaften, die diese Quelle autoritativ machen, nach der Auswahl nicht verworfen werden.

Authority at source
        ↓
Preservation through pipeline
        ↓
Authority still visible in context

Praktisches Datenmodell

Eine Retrieval-Einheit kann mehr als Text tragen.

{
  "text": "Maximum operating temperature is 40 °C...",
  "sourceId": "manual-v4.2",
  "entityId": "device-184",
  "section": "Operating limits",
  "validFrom": "2026-03-01",
  "unit": "°C",
  "conditions": ["35 °C when accessory X is installed"],
  "authority": "manufacturer_manual",
  "conflicts": [],
  "accessScope": "public"
}

Das genaue Schema hängt von der Anwendung ab. Das architektonische Prinzip ist, dass abrufbarer Text nicht von den Metadaten getrennt werden sollte, die zu seiner Interpretation erforderlich sind.

Diagnostische / Entscheidungsmethode

Wählen Sie eine wichtige Antwort und verfolgen Sie eine stützende Behauptung rückwärts durch das System.

1. Identifizieren Sie die endgültige Behauptung.
2. Identifizieren Sie die genaue Kontextpassage, die sie gestützt hat.
3. Identifizieren Sie den abgerufenen Chunk, der diese Passage erzeugt hat.
4. Identifizieren Sie den normalisierten Datensatz oder das geparste Dokument hinter dem Chunk.
5. Identifizieren Sie die ursprüngliche Quelle.
6. Vergleichen Sie Bedeutung, Umfang, Einheiten, Bedingungen und Version bei jedem Übergang.

Jeder Punkt, an dem wesentliche Bedeutung verschwindet, ist ein Bruch in der Evidenzerhaltungskette.

Fehlermodus: Der verwaiste Chunk

Ein verwaister Chunk enthält nützlich erscheinenden Text, aber keine verlässliche Beziehung zur Dokumentstruktur, Quellidentität, Version oder den Anwendbarkeitsbedingungen, aus denen er stammt.

"Refunds are available for 30 days."

Missing:
Which product?
Which country?
Which policy version?
From what effective date?
What exceptions?

Der Satz kann authentisch sein und dennoch unsichere Evidenz darstellen.

Fehlermodus: Normalisierung durch Erfindung

Normalisierung sollte Darstellungen angleichen. Sie sollte nicht stillschweigend fehlende Werte erfinden, damit Datensätze vollständig erscheinen.

Unknown
≠
False
≠
Zero
≠
Default

Unbekannte zu bewahren ist Teil davon, Evidenz zu bewahren.

Fehlermodus: Konfliktkollaps

Angenommen, eine genehmigte Quelle sagt 24 Monate und eine andere sagt 36 Monate.

Eine Pipeline, die einfach den zuletzt importierten Wert speichert, erzeugt eine saubere Datenbank und zerstört die Evidenz, dass ein Konflikt existierte.

Ein verifizierbares System sollte beide Werte, ihre Provenienz und den ungelösten Konflikt bewahren, bis eine Regel oder eine menschliche Entscheidung ihn auflöst.

Fehlermodus: Kontextkompression

Kontextkompression kann nützlich sein, aber eine Zusammenfassung, die Qualifikatoren entfernt, kann die scheinbare Gewissheit erhöhen.

Source:
"Evidence suggests X under conditions A and B, but the sample is small."

Bad compression:
"X is proven."

Die Information wurde kürzer und gleichzeitig weniger wahrheitsgemäß.

Randfall: Verlustbehaftete Kompression kann dennoch korrekt sein

Nicht jeder Verlust ist schädlich.

Das Entfernen visueller Formatierung aus einem Absatz kann keine semantischen Konsequenzen haben. Die Umrechnung von Celsius in Kelvin kann die Bedeutung bewahren, wenn die Transformation explizit und korrekt ist. Das Deduplizieren exakter Kopien kann den Abruf verbessern, ohne Evidenz zu verlieren.

Das Ziel ist daher nicht die verlustfreie Speicherung in jeder Phase. Es ist die semantisch ausreichende Bewahrung.

Einschränkungen

Die Beweiserhaltungskette ist ein architektonischer Rahmen, keine Garantie dafür, dass erhaltene Beweise korrekt interpretiert werden.

Ein Modell kann perfekt erhaltene Beweise erhalten und trotzdem schlecht schlussfolgern. Ein Retriever kann die Herkunft bewahren und trotzdem die falsche Quelle einordnen. Eine Quelle selbst kann auch falsch sein.

Die Bewahrung schützt die Beweispipeline. Sie ersetzt nicht die Quellenbewertung oder das Schlussfolgern.

Was würde diese Antwort ändern?

Zukünftige Systeme könnten strukturierte Beweisobjekte anstelle von Textabschnitten abrufen, Herkunftsdiagramme automatisch bewahren und maschinenlesbare Gültigkeitsbeschränkungen direkt für Modelle und Agenten bereitstellen.

Das würde die Beweiserhaltung einfacher umzusetzen machen, aber es würde das Prinzip wichtiger statt weniger wichtig machen.

Fazit

Zuverlässige KI erfordert mehr als das Finden einer korrekten Quelle.

Die Eigenschaften, die die Quelle nützlich machen, müssen Parsing, Normalisierung, Chunking, Retrieval und Kontextzusammenstellung überstehen.

Source Authority
      ↓
Evidence Preservation Chain
      ↓
Retrievable Evidence
      ↓
Evidence Distance
      ↓
Reasoning
      ↓
Answer Validity Boundary

Wenn die Kette bricht, kann das Modell Informationen erhalten, die technisch authentisch, aber nicht mehr sicher als die ursprünglichen Beweise zu interpretieren sind.

Primärquellen

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview.