Как узнать, действительно ли ИИ-агент использовал правильные доказательства

ИИ-агент может цитировать источники, извлекать документы и всё равно использовать неподходящие доказательства. Источник может быть авторитетным, но не иметь отношения к конкретному утверждению. Найденный фрагмент может подтверждать ответ лишь частично. Корректный источник может оказаться устаревшим, замененным или применимым к другой юрисдикции, версии продукта, пользователю или состоянию системы. Это создает более сложную проблему оценки, чем простая проверка цитирования: действительно ли агент использовал правильные доказательства для сделанного им утверждения?

Почему одних цитат недостаточно

Цитата отвечает лишь на узкий вопрос: связала ли система утверждение или ответ с источником. Она не гарантирует автоматически, что источник подтверждает конкретное утверждение, что источник достаточно авторитетен для данной задачи, что цитируемый фрагмент содержит необходимое условие или исключение, или что модель опиралась именно на это доказательство, а не сгенерировала ответ на основе ранее заложенных знаний.

Руководство Anthropic по оценке исследовательских агентов явно разграничивает обоснованность, полноту охвата и качество источников. Руководство OpenAI по оценке агентов аналогично делает акцент на трассировках выполнения, поскольку итоговый результат не показывает, выбрал ли агент правильные инструменты и следовал ли он намеченному процессу. Эти идеи подводят к более широкому выводу: качество доказательств — это свойство пути выполнения, а не просто финального текста.

Четыре вопроса, которым должно соответствовать каждое существенное утверждение

1. Подтверждение утверждения: доказывает ли источник то, о чем говорит агент?

Доказательства следует оценивать на уровне отдельных утверждений. Документ может соответствовать теме и при этом не подтверждать конкретную мысль. Если в источнике сказано, что функция доступна в отдельных регионах, ответ «функция доступна по всему миру» не подтвержден, даже если ссылка выглядит правдоподобно.

Именно здесь общие оценки «обосновано / не обосновано» часто оказываются слишком поверхностными. Разбейте ответ на существенные утверждения, сопоставьте каждое с наименьшим фрагментом доказательства, подтверждающим его, и классифицируйте связь: прямое подтверждение, частичное подтверждение, противоречие или отсутствие подтверждения.

2. Авторитетность доказательства: подходит ли такой тип источника?

Правильный выбор доказательств определяется не только смысловой релевантностью. Источник должен подходить для принятия решения. Текущий статус аккаунта должен браться из системы учетных записей, а не из старого письма. Утверждение о поведении API желательно сверять с актуальной документацией вендора или воспроизводимым поведением. Для юридического требования может потребоваться действующий закон, регламент или официальные разъяснения регулятора, а не статья в блоге общего характера.

Авторитетность источника зависит от задачи. Сообщение от сообщества пользователей может служить лучшим доказательством реальной ошибки, которую вендор не признает в документации. Заявление вендора может быть авторитетным в отношении его собственных планов, но слабым аргументом при независимой оценке производительности. Поэтому оценщику необходима четкая иерархия источников для конкретной задачи, а не единый универсальный балл авторитетности.

3. Применимость: правильные доказательства, неверные условия

Самые опасные ошибки доказательной базы — это зачастую не выдуманные источники, а подлинные материалы, использованные вне рамок их применимости. Рекомендация может измениться в зависимости от версии ПО, даты, юрисдикции, ревизии оборудования, прав пользователя, доступности продукта, текущего состояния игры, конфигурации тенанта или других параметров среды.

Для каждого значимого источника сохраняйте условия, определяющие его актуальность. Это особенно важно после обобщения (саммаризации): сжатая память или цитата могут сохранить вывод, потеряв при этом исключение, дату или обязательное предварительное условие, которые делали этот вывод верным.

4. Использование доказательств: опирался ли агент на них в действительности?

Ответ может быть правильным, даже если этап поиска (retrieval) завершился сбоем. Модель может уже знать ответ, вывести его из несвязанного контекста или просто угадать. Если оценка проверяет только итоговую правильность, может показаться, что система надежно обосновывает свои выводы, хотя цепочка доказательств нарушена.

Чтобы оценить использование доказательств, проанализируйте трейс выполнения. Проверьте, какие источники были получены, какие фрагменты попали в контекст модели, когда именно они стали доступны и можно ли объяснить итоговое утверждение этими входными данными. Современные инструменты OpenAI для оценки агентов делают упор на анализ трейсов именно потому, что поведение на уровне рабочего процесса невозможно надежно восстановить только по итоговому ответу.

Тест на использование доказательств

Практическую оценку можно построить как контролируемый контрфактический эксперимент. Вместо того чтобы просто проверять правильность ответа, измените доказательства и проследите, изменится ли утверждение в ожидаемом направлении.

Матрица «утверждение — доказательство» полезнее простого списка источников

Эта матрица поднимает ряд вопросов, которые скрывает стандартная проверка цитирования. Одному утверждению может требоваться несколько источников. Один источник может подтверждать лишь часть утверждения. Авторитетный источник может иметь короткое окно актуальности. А превосходный источник окажется бесполезным, если он так и не попал в цепочку выполнения.

Разделяйте качество поиска и качество доказательств

Метрики поиска определяют, были ли найдены и отранжированы релевантные материалы. Оценка доказательств определяет, обосновывают ли эти материалы полученные утверждения. Эти аспекты взаимосвязаны, но не идентичны.

Оценивайте качество источников по критериям, а не по белому списку доменов

Жестко заданные списки «доверенных доменов» заманчивы, но часто неэффективны. Качество источника должно зависеть от типа утверждения. Среди полезных критериев: первичный или вторичный статус, актуальность, прямота данных, воспроизводимость, независимость, экспертиза в предметной области, происхождение данных, частота обновлений, а также наличие у источника мотива преувеличивать факты.

Руководство Anthropic по оценке исследовательских агентов явно выделяет проверку качества источников наряду с обоснованностью (groundedness) и полнотой охвата. Соответственно, на практике следует оценивать как то, что именно сообщает источник, так и то, подходит ли этот источник для подобных заявлений.

Полнота доказательств: подтверждения требует каждое важное утверждение, а не каждое предложение

Не каждое предложение требует ссылки на источник. Переходные фразы, арифметические вычисления, явно выведенные из приведенных значений, или четко обозначенная интерпретация могут не требовать отдельного источника. Но каждое существенное утверждение, поддающееся внешней проверке, должно иметь достаточное подтверждение, чтобы оценщик мог восстановить, на каком основании агенту было разрешено его сделать.

Поэтому покрытие доказательствами должно взвешиваться с учетом важности утверждения. Отсутствие подтверждения для декоративной детали не эквивалентно отсутствию подтверждения для цены, решения о соответствии критериям, инструкции по безопасности, юридического требования, заявления о технической совместимости или факта, лежащего в основе рекомендации.

Происхождение доказательств должно сохраняться при суммаризации и записи в память

Долго работающие агенты часто суммаризируют предыдущую работу или записывают долговременные воспоминания. Если в ходе этой трансформации происхождение доказательств утрачивается, будущие агенты могут извлечь четкий вывод, не зная, был ли он получен из слов пользователя, работающего в реальном времени API, старого документа, логического вывода модели или непроверенного результата из интернета.

Для важных фактов сохраняйте как минимум идентификатор источника, время извлечения или наблюдения, тип доказательства, соответствующую версию или состояние, а также пометку о том, является ли сохраненный текст цитатой, суммаризацией, логическим выводом или производным значением. Именно происхождение позволяет последующему агенту решить, следует ли доверять доказательству, обновить его, ограничить или отбросить.

Практическая запись доказательства

Режимы сбоев, выглядящие обоснованными, но не являющиеся таковыми

Как оценивать агента в производственной среде

Актуальные рекомендации OpenAI по оценке предлагают использовать специализированные тесты под конкретные задачи, непрерывное оценивание, датасеты на основе производственных данных и трейсы для отладки поведения агентов. Anthropic аналогично рекомендует комбинировать различные типы оценщиков для исследовательских агентов, поскольку корректность, качество источников, полнота покрытия и обоснованность — это отдельные независимые аспекты. Оценка доказательств должна следовать тому же принципу: несколько узконаправленных оценщиков дают больше диагностической пользы, чем единая непрозрачная оценка «качества».

Не делайте LLM-судью единственным оценщиком доказательств

Оценщики на базе LLM полезны для масштабируемой классификации утверждений, проверок на релевантность и попарных сравнений, но они могут иметь те же слепые зоны, что и оцениваемая ими система. Такой оценщик может принять правдоподобное, но неподтвержденное утверждение, пропустить тонкую границу между версиями или переоценить красиво оформленный источник.

Рекомендации OpenAI по оценке советуют калибровать автоматических оценщиков по оценкам человека и применять четкие, узко очерченные критерии. Для систем с высокой плотностью доказательств следует везде, где это возможно, использовать детерминированные проверки: временные метки, версии объектов, область прав доступа, точные идентификаторы источников, порядок извлечения, хеши документов и наличие доказательства до того, как модель сгенерировала утверждение.

Что может изменить этот ответ?

Оценка может быть проще, когда агент работает с небольшим, неизменяемым, авторитетным корпусом данных, а каждый ответ носит строго экстрактивный характер. В таких условиях авторитетность и применимость источников практически фиксированы, и сопоставления утверждения с подтверждающим фрагментом может быть достаточно.

Оценка обязана становиться строже, когда агент объединяет веб-поиск, долговременную память, динамические инструменты, несколько юрисдикций, быстро меняющуюся информацию, специфичное для пользователя состояние или автономные действия. В подобных системах валидность доказательств зависит не только от текста источника, но и от того, когда и как именно доказательство было получено.

Будущие модели могут научиться лучше отслеживать происхождение данных и неопределенность на внутреннем уровне, но это не устранит необходимость во внешних записях подтверждений в системах, требующих аудируемости. Система не должна полагаться на самоотчет модели о том, что именно на нее повлияло, когда трассировки и метаданные источников могут предоставить более убедительные доказательства.

Ограничения

Доказать причинно-следственное использование свидетельств только на основе трассировок возможно не всегда. Источник может присутствовать в контексте, не влияя на ответ, а модель может независимо знать тот же самый факт. Контрфактические тесты усиливают логический вывод, но сами по себе могут изменять распределение задач.

Авторитетность источника также может быть спорной или зависеть от предметной области. У некоторых вопросов нет единого авторитетного источника, и эксперты могут расходиться во мнениях относительно того, какие свидетельства заслуживают большего веса. В таких случаях оценщику следует фиксировать разногласия и оценивать прозрачность, полноту охвата и логику рассуждений по явным критериям, а не делать вид, будто существует один неоспоримый источник истины.

Заключение

Вопрос «Сослался ли агент на источник?» слишком слаб для продакшн-систем ИИ. Гораздо важнее другой вопрос: исходит ли каждое существенное утверждение из подтверждения, которое действительно его подкрепляет, обладает надлежащей авторитетностью, все еще применимо к текущим условиям и присутствовало в пути выполнения до того, как утверждение было сформулировано?

Это превращает свидетельства из простого декоративного элемента в оцениваемое системное свойство. Фиксируйте трассировку. Сопоставляйте утверждения со свидетельствами. Проверяйте авторитетность и применимость. Проводите контрфактические тесты свидетельств. Сохраняйте происхождение данных через суммаризации и память. Тогда правильный ответ станет не просто правдоподобным — за ним появится путь обоснования, который можно проверить.

Часто задаваемые вопросы

Глоссарий

Первоисточники и материалы для дальнейшего чтения