Wie man erkennt, ob ein KI-Agent tatsächlich die richtigen Belege verwendet hat

Ein KI-Agent kann Quellen zitieren, Dokumente abrufen und dennoch die falschen Belege verwenden. Eine Quelle kann maßgeblich sein, aber für die konkrete Behauptung irrelevant. Ein abgerufener Textabschnitt stützt möglicherweise nur einen Teil einer Antwort. Eine korrekte Quelle kann veraltet oder abgelöst sein oder für die falsche Rechtsordnung, Produktversion, Nutzergruppe oder den falschen Systemzustand gelten. Daraus ergibt sich ein schwierigeres Evaluierungsproblem als eine einfache Quellenprüfung: Hat der Agent tatsächlich die richtigen Belege für die von ihm aufgestellte Behauptung verwendet?

Warum Zitate nicht ausreichen

Ein Zitat beantwortet nur eine eng begrenzte Frage: Das System hat eine Behauptung oder Antwort mit einer Quelle verknüpft. Es belegt nicht automatisch, dass die Quelle die spezifische Behauptung stützt, dass die Quelle für die Aufgabe maßgeblich genug ist, dass der zitierte Abschnitt die notwendige Bedingung oder Ausnahme enthält oder dass das Modell sich auf diesen Beleg gestützt hat, anstatt die Antwort aus vorherigem Modellwissen zu generieren.

Anthropics Leitfaden zur Evaluierung von Recherche-Agenten trennt explizit zwischen Groundedness, Abdeckung und Quellenqualität. Auch OpenAIs Leitfaden zur Agenten-Evaluierung betont Ausführungsspuren (Traces), da ein Endergebnis nicht offenbart, ob der Agent die richtigen Tools ausgewählt oder den beabsichtigten Workflow befolgt hat. Diese Überlegungen weisen auf eine allgemeinere Schlussfolgerung hin: Belegqualität ist eine Eigenschaft des Ausführungspfads, nicht nur des finalen Textes.

Die vier Fragen, die jede wesentliche Behauptung bestehen sollte

1. Stützung der Behauptung: Begründet die Quelle das, was der Agent aussagt?

Belege sollten auf Behauptungsebene evaluiert werden. Ein Dokument kann für das Thema relevant sein und dennoch eine spezifische Aussage nicht stützen. Wenn eine Quelle besagt, dass eine Funktion in ausgewählten Regionen verfügbar ist, ist die Antwort „die Funktion ist weltweit verfügbar“ nicht belegt, auch wenn das Zitat plausibel wirkt.

Hier sind pauschale Urteile wie „fundiert / nicht fundiert“ oft zu grob. Teilen Sie die Antwort in wesentliche Behauptungen auf, ordnen Sie jede Behauptung dem kleinsten Belegabschnitt zu, der sie stützt, und klassifizieren Sie die Beziehung: direkte Stützung, teilweise Stützung, Widerspruch oder keine Stützung.

2. Autorität des Belegs: Ist dies die richtige Art von Quelle?

Die korrekte Auswahl von Belegen beschränkt sich nicht nur auf semantische Relevanz. Die Quelle muss für die Entscheidung geeignet sein. Ein aktueller Kontostatus sollte aus dem Kontosystem stammen, nicht aus einer alten E-Mail. Eine Behauptung zum API-Verhalten sollte vorzugsweise anhand der aktuellen Dokumentation des Anbieters oder reproduzierbarem Verhalten überprüft werden. Eine rechtliche Anforderung erfordert möglicherweise das anwendbare Gesetz, die Regulierungsbehörde oder maßgebliche Richtlinien anstelle eines allgemeinen Blogbeitrags.

Die Quellenautorität ist aufgabenspezifisch. Ein Community-Bericht kann der beste Beleg für einen realen Fehler sein, den die Dokumentation des Anbieters nicht erwähnt. Eine Ankündigung des Anbieters kann maßgeblich dafür sein, was der Anbieter behauptet, aber ein schwacher Beleg für die unabhängige Leistung. Die evaluierende Person benötigt daher eine explizite Quellenhierarchie für die jeweilige Aufgabe anstelle eines universellen Autoritätswerts.

3. Anwendbarkeit: Richtiger Beleg, falsche Bedingungen

Die gefährlichsten Belegfehler sind oft keine erfundenen Quellen, sondern gültige Quellen, die außerhalb ihres Gültigkeitsbereichs verwendet werden. Eine Empfehlung kann sich je nach Softwareversion, Datum, Rechtsordnung, Hardware-Revision, Nutzerberechtigungen, Produktverfügbarkeit, aktuellem Spielzustand, Mandantenkonfiguration oder anderen Umgebungsvariablen ändern.

Bewahren Sie für jede wesentliche Quelle die Bedingungen auf, die bestimmen, ob sie noch anwendbar ist. Dies ist besonders nach einer Zusammenfassung wichtig: Ein komprimiertes Gedächtnis oder Zitat behält möglicherweise die Schlussfolgerung bei, lässt jedoch die Ausnahme, das Datum oder die Voraussetzung weg, die die Schlussfolgerung überhaupt erst gültig gemacht haben.

4. Evidenznutzung: Hat sich der Agent tatsächlich auf die Evidenz gestützt?

Eine Antwort kann korrekt sein, selbst wenn der Abruf fehlgeschlagen ist. Das Modell kennt die Antwort möglicherweise bereits, leitet sie aus unzusammenhängendem Kontext ab oder rät einfach richtig. Wenn die Evaluierung nur die finale Korrektheit prüft, wirkt das System möglicherweise fundiert, obwohl der Evidenzpfad unterbrochen ist.

Um die Evidenznutzung zu bewerten, prüfen Sie den Trace. Stellen Sie fest, welche Quellen abgerufen wurden, welche Passagen den Kontext des Modells erreichten, wann sie verfügbar wurden und ob die endgültige Behauptung durch diese Eingaben erklärt werden kann. OpenAIs aktuelle Werkzeuge zur Agenten-Evaluierung betonen das Trace-Grading genau deshalb, weil sich das Verhalten auf Workflow-Ebene nicht verlässlich allein aus der finalen Antwort rekonstruieren lässt.

Der Evidence Utilization Test

Eine praktische Evaluierung lässt sich als kontrolliertes Kontrafaktum aufbauen. Anstatt nur zu fragen, ob die Antwort korrekt ist, ändern Sie die Evidenz und beobachten Sie, ob sich die Behauptung in die erwartete Richtung verändert.

Eine Behauptungs-Evidenz-Matrix ist nützlicher als eine Quellenliste

Diese Matrix erzwingt mehrere Fragen, die eine herkömmliche Überprüfung von Zitaten verbirgt. Eine Behauptung kann mehrere Quellen erfordern. Eine Quelle kann nur einen Teil einer Behauptung stützen. Eine maßgebliche Quelle kann ein kurzes Gültigkeitsfenster haben. Und eine vollkommen gute Quelle kann irrelevant sein, wenn sie nie in den Ausführungspfad gelangt ist.

Abrufqualität von Evidenzqualität trennen

Abrufmetriken fragen, ob relevantes Material gefunden und eingestuft wurde. Die Evidenzevaluierung fragt, ob dieses Material die resultierenden Behauptungen rechtfertigt. Beides hängt zusammen, ist aber nicht identisch.

Quellenqualität als Rubrik bewerten, nicht als Domain-Whitelist

Fest codierte Listen „vertrauenswürdiger Domains“ sind verlockend, aber oft fragil. Die Qualität von Quellen sollte stattdessen den Typ der Behauptung widerspiegeln. Nützliche Dimensionen umfassen Primär- versus Sekundärstatus, Aktualität, Direktheit, Reproduzierbarkeit, Unabhängigkeit, Fachkompetenz, Datenherkunft, Aktualisierungszyklus und die Frage, ob die Quelle einen Anreiz hat, die Behauptung zu übertreiben.

Anthropics Leitfaden zur Evaluierung von Forschungsagenten hebt Prüfungen der Quellenqualität neben Fundierung und Abdeckung explizit hervor. Die praktische Umsetzung sollte daher sowohl bewerten, was die Quelle aussagt, als auch, ob diese Quelle für diese Art von Aussage angemessen ist.

Evidenzabdeckung: Jede wichtige Behauptung benötigt Belege, nicht jeder Satz

Nicht jeder Satz erfordert einen Beleg. Übergangsformulierungen, Arithmetik, die transparent aus zitierten Werten abgeleitet ist, oder eindeutig gekennzeichnete Interpretationen benötigen möglicherweise keine separate Quelle. Aber jede wesentliche, extern überprüfbare Behauptung sollte ausreichend belegt sein, damit ein Prüfer nachvollziehen kann, warum der Agent diese Aussage treffen durfte.

Die Belegabdeckung sollte daher nach der Relevanz der Behauptung gewichtet werden. Fehlende Belege für ein dekoratives Detail sind nicht gleichzusetzen mit fehlenden Belegen für einen Preis, eine Berechtigungsentscheidung, eine Sicherheitsanweisung, eine rechtliche Anforderung, eine Aussage zur technischen Kompatibilität oder eine Tatsache, die eine Empfehlung begründet.

Die Provenienz von Belegen muss Zusammenfassungen und das Gedächtnis überdauern

Langlaufende Agenten fassen häufig frühere Arbeiten zusammen oder speichern dauerhafte Erinnerungen. Wenn bei dieser Transformation die Provenienz der Belege verloren geht, können zukünftige Agenten zwar eine saubere Schlussfolgerung abrufen, ohne jedoch zu wissen, ob diese aus einer Benutzeraussage, einer Live-API, einem alten Dokument, einer Modellinferenz oder einem unbestätigten Webergebnis stammt.

Bei wichtigen Fakten sollten mindestens die Identität der Quelle, der Abruf- oder Beobachtungszeitpunkt, der Belegtyp, die relevante Version oder der Status sowie die Angabe erhalten bleiben, ob der gespeicherte Text zitiert, zusammengefasst, geschlussfolgert oder abgeleitet ist. Erst die Provenienz ermöglicht es einem späteren Agenten zu entscheiden, ob der Beleg vertrauenswürdig ist, aktualisiert, eingeschränkt oder verworfen werden sollte.

Ein praxisorientierter Belegdatensatz

Fehlermuster, die fundiert wirken, es aber nicht sind

Wie der Agent im Produktivbetrieb evaluiert wird

Die aktuellen Evaluierungsleitlinien von OpenAI empfehlen aufgabenspezifische Evals, kontinuierliche Evaluierung, aus dem Produktivbetrieb abgeleitete Datensätze sowie Traces zum Debuggen des Agentenverhaltens. Auch Anthropic empfiehlt für Research-Agenten die Kombination mehrerer Bewertungsansätze, da Korrektheit, Quellenqualität, Abdeckung und Faktentreue getrennte Dimensionen darstellen. Die Belegevaluierung sollte demselben Muster folgen: Mehrere eng gefasste Evaluatoren liefern mehr Erkenntnisse als ein einzelner, undurchsichtiger Qualitätswert.

Ein LLM-Judge darf nicht die einzige Bewertungsinstanz sein

LLM-Evaluatoren sind nützlich für die skalierbare Klassifizierung von Behauptungen, Relevanzprüfungen und paarweise Vergleiche. Sie können jedoch dieselben toten Winkel aufweisen wie das System, das sie bewerten. Ein Evaluator akzeptiert möglicherweise eine plausible, aber unbelegte Behauptung, übersieht feine Versionsunterschiede oder bewertet eine gut formulierte Quelle zu positiv.

Die Evaluierungsrichtlinien von OpenAI empfehlen, automatisierte Evaluatoren anhand menschlicher Urteile zu kalibrieren und klare, abgegrenzte Kriterien zu verwenden. Bei belegintensiven Systemen sollten nach Möglichkeit deterministische Prüfungen eingesetzt werden: Zeitstempel, Objektversionen, Berechtigungsbereiche, exakte Quellen-IDs, Abrufreihenfolge, Dokumenten-Hashes und die Prüfung, ob der Beleg bereits vorlag, bevor das Modell die Behauptung generiert hat.

Was würde diese Antwort verändern?

Die Evaluierung kann einfacher gestaltet werden, wenn der Agent auf einem kleinen, unveränderlichen und maßgeblichen Korpus arbeitet und jede Antwort rein extraktiv ist. In einer solchen Umgebung sind die Autorität und Anwendbarkeit der Quellen weitgehend festgelegt, sodass der Belegabgleich auf Satzebene ausreichen kann.

Die Evaluierung muss strenger werden, sobald der Agent Websuchen, Langzeitgedächtnis, Live-Tools, mehrere Rechtsordnungen, sich schnell ändernde Informationen, nutzerspezifische Zustände oder autonome Aktionen miteinander kombiniert. In solchen Systemen hängt die Gültigkeit von Belegen nicht nur vom Quelltext ab, sondern auch davon, wann und wie der Beleg beschafft wurde.

Zukünftige Modelle werden Herkunft und Unsicherheit intern möglicherweise besser nachverfolgen können, doch das beseitigt in Systemen, die Prüfbarkeit erfordern, nicht den Bedarf an externen Evidenzaufzeichnungen. Ein System sollte sich nicht auf die Selbsteinschätzung des Modells darüber verlassen, was es beeinflusst hat, wenn Traces und Quellmetadaten stichhaltigere Belege liefern können.

Einschränkungen

Es ist nicht immer möglich, die kausale Nutzung von Belegen allein aus Traces nachzuweisen. Eine Quelle kann im Kontext vorhanden sein, ohne die Antwort zu beeinflussen, und ein Modell kennt dieselbe Tatsache möglicherweise unabhängig davon. Kontrafaktische Tests stärken die Schlussfolgerung, können jedoch selbst die Aufgabenverteilung verändern.

Auch die Autorität von Quellen kann umstritten oder domänenabhängig sein. Manche Fragen haben keine einzelne maßgebliche Quelle, und Fachleute sind sich möglicherweise uneins darüber, welche Evidenz mehr Gewicht verdient. In diesen Fällen sollte die Evaluation die Uneinigkeit abbilden und Transparenz, Abdeckung sowie Argumentation anhand eines expliziten Schemas bewerten, anstatt vorzutäuschen, dass es eine einzige unumstößliche Wahrheitsquelle gäbe.

Fazit

Die Frage „Hat der Agent eine Quelle zitiert?“ ist für den Produktiveinsatz von KI zu schwach. Die weitaus entscheidendere Frage lautet: Stammt jede wesentliche Behauptung aus einer Evidenz, die sie tatsächlich stützt, die erforderliche Autorität besitzt, für die aktuellen Rahmenbedingungen noch gültig ist und im Ausführungspfad verfügbar war, bevor die Behauptung aufgestellt wurde?

Damit wird Evidenz vom bloßen Beiwerk zu einer überprüfbaren Systemeigenschaft. Erfassen Sie den Trace. Ordnen Sie Behauptungen Belegen zu. Überprüfen Sie Autorität und Anwendbarkeit. Führen Sie kontrafaktische Evidenztests durch. Bewahren Sie die Herkunft über Zusammenfassungen und das Gedächtnis hinweg. Dann ist eine korrekte Antwort nicht nur plausibel — sie besitzt einen nachvollziehbaren Evidenzpfad.

FAQ

Glossar

Primärquellen und weiterführende Literatur