Warum ruft KI einige Quellen ab und ignoriert andere? — Die Retrieval-Autoritätsschicht

Frage

Warum wählt ein KI-Retrieval-System eine Quelle aus und ignoriert eine andere Quelle, die genau dasselbe Thema zu behandeln scheint?

Semantische Relevanz ist nur ein Teil der Antwort. Zwei Dokumente können einer Anfrage gleichermaßen ähnlich sein und sich dennoch radikal in Autorität, Aktualität, Herkunft, Umfang, Berechtigungen und Anwendbarkeit unterscheiden.

Dieser Artikel verwendet den Begriff Retrieval Authority Layer für die Quellenauswahlgrenze, die zwischen dem Auffinden potenziell relevanter Informationen und der Behandlung dieser Informationen als geeignete Evidenz liegt.

Ein Retrieval Authority Layer ist die Menge von Quellenauswahlregeln und Quelleneigenschaften, die bestimmen, welche abrufbaren Informationen es verdienen, für eine bestimmte Frage zu Evidenz zu werden.— Arbeitsdefinition — ein in diesem Artikel verwendetes Systemkonzept, kein standardisierter Forschungsbegriff.

Was das wirklich bedeutet

Ein Retriever beantwortet eine relativ enge Frage: Welche Elemente erscheinen für diese Anfrage relevant?

Ein Produktions-KI-System muss normalerweise eine schwierigere beantworten: Welche dieser relevanten Elemente dürfen die Antwort beeinflussen?

Diese zweite Frage führt Quellenidentität, Version, Autorität, Gültigkeitszeitraum, Herkunft und Umfang ein. Eine relevante alte Richtlinie, ein kopierter Blogbeitrag oder eine inoffizielle Zusammenfassung kann extrem gut ranken und dennoch die falsche Evidenz für die Entscheidung sein.

Question
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
RETRIEVAL AUTHORITY LAYER
   ↓
Qualified Evidence
   ↓
Context / Reasoning
   ↓
Answer Validity Boundary
   ↓
Answer

Einfachstes Beispiel

Stellen Sie sich vor, ein Mitarbeiter fragt einen Unternehmensassistenten: Wie viele Urlaubstage erhalten Mitarbeiter?

Beide Passagen können nahezu identische Formulierungen enthalten. Ein Ähnlichkeitswert kann sie daher sehr nahe beieinander einordnen.

Semantic relevance
        ≠
Source authority
        ≠
Applicability

Die aktuelle genehmigte HR-Richtlinie sollte normalerweise dominieren, da sie die maßgebliche Quelle für die Aussage ist. Der ältere Leitfaden bleibt relevanter Text, sollte aber nicht dasselbe evidenzielle Gewicht tragen.

Wo das Beispiel nicht mehr funktioniert

Autorität ist nicht immer eine universelle Hierarchie, in der eine Quelle jedes Mal gewinnt.

Eine transaktionale Datenbank kann für den aktuellen Status einer Bestellung maßgeblich sein. Ein Produkthandbuch kann für den beabsichtigten Betrieb maßgeblich sein. Ein unterzeichneter Vertrag kann eine kommerzielle Verpflichtung regeln. Eine primäre wissenschaftliche Arbeit kann die beste Quelle für ihr Experiment sein, während eine spätere systematische Übersichtsarbeit für eine breitere Schlussfolgerung stärker sein kann.

Autorität ist daher behauptungsrelativ. Die korrekte Quellenklasse hängt davon ab, was gefragt wird.

Direkte Antwort

Eine Quelle sollte dann als bevorzugte Abrufevidenz gelten, wenn sie nicht nur relevant, sondern auch ausreichend maßgeblich, aktuell, anwendbar, nachvollziehbar und zugänglich für die spezifische Behauptung ist, die beantwortet wird.

Useful retrieval evidence
=
relevance
+ authority
+ provenance
+ freshness
+ applicability
+ accessibility

Diese Eigenschaften garantieren keine Wahrheit. Sie schaffen eine stärkere Grundlage für die Entscheidung, welche abgerufenen Informationen in den Denkprozess einfließen sollten.

Warum Ähnlichkeit allein nicht ausreicht

Vektorabruf ist äußerst nützlich, weil er semantisch verwandte Informationen finden kann, selbst wenn die Formulierung abweicht. Aber semantische Ähnlichkeit weiß von sich aus nicht, ob ein Dokument veraltet, ersetzt, inoffiziell, nicht autorisiert oder für eine andere Gerichtsbarkeit gültig ist.

Die ursprüngliche RAG-Architektur zeigte, wie externes nicht-parametrisches Gedächtnis das Modellwissen erweitern kann. Produktionssysteme müssen anwendungsspezifische Kontrollen um diesen Abrufprozess herum hinzufügen.

Die sechs Autoritätssignale

1. Quellenidentität

Das System sollte wissen, was die Quelle tatsächlich ist: Richtlinie, Vertrag, API, Datenbankeintrag, Forschungsarbeit, Dokumentationsseite, Benutzerdatei oder Kommentar Dritter.

2. Herkunft

Evidenz sollte bewahren, woher sie stammt, wie sie in das System gelangt ist und welches ursprüngliche Objekt oder Dokument eingesehen werden kann, wenn die Behauptung angefochten wird.

3. Aktualität

Aktualität ist wichtig, wenn sich die zugrunde liegende Tatsache ändert. Eine aktuelle API-Antwort und ein fünf Jahre alter Artikel können für die Wörter einer Anfrage gleichermaßen relevant sein, nicht aber für deren zeitliche Anforderung.

4. Anwendbarkeit

Eine Tatsache kann korrekt, aber auf die falsche Produktversion, das falsche Land, den falschen Mandanten, die falsche Kundengruppe, den falschen Vertrag, die falsche Softwareversion oder den falschen Zeitraum anwendbar sein.

5. Spezifität der Belege

Primärbelege, die die Behauptung direkt stützen, sind in der Regel stärker als eine Kette von Zusammenfassungen, die sie lediglich wiederholen.

6. Rechtmäßigkeit des Zugriffs

Ein technisch abrufbares Dokument ist nicht unbedingt ein autorisierter Kontext. Die Abrufberechtigung muss innerhalb der Grenzen von Mandant, Berechtigung, Vertraulichkeit und Datenminimierung operieren.

Ein minimales Autoritätsmodell

Ein praktisches System kann diese Eigenschaften explizit darstellen, anstatt zu hoffen, dass die Ähnlichkeitsbewertung sie erfasst.

{
  "source": "hr-policy-6.2",
  "sourceType": "approved_policy",
  "effectiveFrom": "2026-01-01",
  "supersedes": "hr-policy-5.9",
  "jurisdiction": "DE",
  "authority": "primary",
  "accessScope": "employee",
  "provenance": "hr-policy-system"
}

Der Retriever kann weiterhin semantische oder lexikalische Relevanz nutzen. Die Autoritätsschicht fügt Einschränkungen und Reranking-Signale hinzu, die Relevanz allein nicht bieten kann.

Verbindung zu agentenbereiten Informationen

Dies wird besonders wichtig, wenn der Konsument kein Mensch ist, der Dokumente liest, sondern ein KI-Agent, der Entscheidungen trifft.

Ein agentenbereites Informationsobjekt sollte Identität, Herkunft, Konflikte, Unbekanntes und Gültigkeitsbedingungen vor der Abrufphase bewahren. Andernfalls versucht das System, Autorität zu rekonstruieren, nachdem Informationen bereits zu anonymem Text verflacht wurden.

Diagnose- / Entscheidungsmethode

Stellen Sie für jede abgerufene Behauptung mit hohem Wert sechs Fragen:

1. Welche genaue Quelle hat diesen Beleg erzeugt?
2. Ist diese Quelle für diese Art von Aussage maßgeblich?
3. Ist die Information noch aktuell?
4. Gilt sie für diesen Nutzer, diese Version, diese Gerichtsbarkeit und diesen Zeitraum?
5. Lässt sich die Aussage bis zum ursprünglichen Beleg zurückverfolgen?
6. War der Nutzer oder Agent berechtigt, sie abzurufen?

Wenn das System diese Fragen nicht beantworten kann, ist das Problem nicht mehr nur die Abrufqualität. Es ist ein Problem der Beleg-Governance.

Häufige Fehlermodi

Der höchste Ähnlichkeitswert gewinnt. Dies verwechselt semantische Nähe mit Belegautorität.

Die neueste Quelle gewinnt immer. Ein neuerer Kommentar kann weniger maßgeblich sein als ein älterer maßgeblicher Vertrag oder Standard.

Offiziell bedeutet universell anwendbar. Eine offizielle Quelle kann dennoch zu einer anderen Gerichtsbarkeit, Version oder einem anderen Geltungsbereich gehören.

Öffentlich bedeutet sicher abrufbar. Informationen können öffentlich und dennoch für die Aufgabe ungeeignet sein, während private Informationen nur in einem autorisierten Kontext legitim sein können.

Sonderfall: Konfliktierende maßgebliche Quellen

Der schwierige Fall ist nicht eine maßgebliche Quelle gegenüber einer offensichtlich schwachen Quelle. Es sind zwei scheinbar maßgebliche Quellen, die sich widersprechen.

An diesem Punkt sollte die Autoritätsschicht den Konflikt bewahren, anstatt ihn stillschweigend in eine einzige Antwort zusammenzufassen.

Retrieve
   ↓
Qualify source authority
   ↓
Detect conflict
   ↓
Preserve disagreement
   ↓
Reason about scope / version / provenance
   ↓
Answer only inside the supported boundary

Einschränkungen

Die Retrieval Authority Layer ist eine konzeptionelle Architektur, kein universeller Ranking-Algorithmus.

Verschiedene Domänen erfordern unterschiedliche Autoritätsmodelle. Rechtliche, wissenschaftliche, kommerzielle, operative und persönliche Daten können nicht alle dieselbe Quellenhierarchie verwenden.

Sie kann auch nicht garantieren, dass eine externe Suche oder ein KI-System die Seite eines Publishers rankt. Externe Ranking-Systeme bleiben außerhalb der Kontrolle des Publishers.

Was würde diese Antwort ändern?

Abrufsysteme könnten zunehmend automatisch die Zuverlässigkeit von Quellen erlernen, strukturierte Provenienz mit neuronalem Ranking kombinieren und den Zugriff über Agentenprotokolle aushandeln.

Das könnte ändern, wie Autoritätssignale implementiert werden. Es beseitigt jedoch nicht die Unterscheidung zwischen dem Finden relevanter Informationen und der Entscheidung, ob diese Informationen Beleggewicht verdienen.

Fazit

Der Retrieval Trigger beantwortet: Benötige ich externe Evidenz?

Die Retrieval Authority Layer beantwortet die nächste Frage: Welche externe Quelle verdient es, zur Evidenz zu werden?

Model Knowledge
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
Retrieval Authority Layer
   ↓
Qualified Evidence
   ↓
Reasoning
   ↓
Answer

Diese Unterscheidung bewegt RAG von der Dokumentenabfrage hin zur kontrollierten Evidenzabfrage.

Primärquellen

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Akari Asai et al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (2023).

Soyeong Jeong et al., Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity (2024).