Насколько утверждение об ИИ далеко от доказательств? — Дистанция доказательств

Вопрос

Два ответа ИИ могут оба ссылаться на источники и при этом сильно различаться в том, насколько непосредственно эти источники подтверждают сделанные утверждения. Как описать это различие?

В этой статье используется термин Дистанция доказательств для обозначения расстояния между утверждением и непосредственно проверяемыми доказательствами, которые его подтверждают.

Дистанция доказательств — это количество и сила преобразований, допущений и шагов вывода, отделяющих утверждение от доказательств, которые могут напрямую его подтвердить.— Рабочее определение — концепция рассуждения, введённая здесь, а не стандартизированная метрика.

Что это на самом деле означает

Ссылка доказывает, что на источник сослались. Она не доказывает автоматически, что источник напрямую подтверждает предложение рядом со ссылкой.

Между исходным наблюдением и окончательным ответом ИИ могут быть извлечение, разбор, разбиение на фрагменты, поиск, суммирование, интерпретация, агрегация и вывод.

Primary evidence
   ↓
Extracted data
   ↓
Retrieved passage
   ↓
Summary
   ↓
Interpretation
   ↓
Inference
   ↓
Final claim

Каждый шаг может быть законным. Но каждый шаг также может внести искажение.

Простейший пример

Предположим, датчик температуры показывает 38,2 °C.

Исходное значение датчика напрямую подтверждает первое утверждение. Оно само по себе не доказывает третье.

Evidence exists
        ≠
Evidence directly supports every derived claim

Где пример перестаёт работать

Дистанция доказательств — это не просто подсчёт предложений или шагов обработки.

Одно математически корректное преобразование может сохранить доказательства почти идеально, тогда как одна спекулятивная интерпретация может создать гораздо больший эпистемический скачок.

Таким образом, концепция включает как дистанцию по преобразованию, так и дистанцию по выводу.

Прямой ответ

Дистанция доказательств увеличивается, когда утверждение зависит от большего числа преобразований, большего числа допущений, более слабого происхождения или более сильного вывода, чем непосредственно оправдывают лежащие в основе доказательства.

Short distance:
source → claim

Longer distance:
source → extraction → summary → assumption → inference → claim

Более длинная дистанция не делает утверждение автоматически ложным. Это означает, что цепочка рассуждений требует дополнительной проверки.

Почему это важно для ИИ

LLM особенно хорошо создают плавные переходы между фрагментами информации. Эта способность полезна, но плавность может скрыть, насколько далеко вывод ушёл от непосредственно полученных доказательств.

Поэтому ответ может выглядеть хорошо обоснованным, при этом содержа утверждения, поддержка которых существует только через несколько неявных шагов вывода.

Четыре компонента дистанции доказательств

1. Дистанция преобразования

Сколько раз исходные доказательства были преобразованы, обобщены, нормализованы или переформатированы, прежде чем достигли модели?

2. Дистанция вывода

Сколько шагов рассуждения требуется, прежде чем доказательства подтвердят окончательный вывод?

3. Дистанция происхождения

Можно ли всё ещё проследить полученное утверждение до идентифицируемого первоисточника, или оно прошло через резюме и копии, происхождение которых неясно?

4. Дистанция применимости

Сколько рассуждений требуется, чтобы установить, что доказательства применимы к именно этой версии, пользователю, юрисдикции, периоду времени или ситуации?

Дистанция доказательств в RAG

RAG может сократить одно важное расстояние: расстояние между моделью и внешними знаниями.

Он не сокращает автоматически расстояние между извлечённым фрагментом и итоговым утверждением.

RAG solves:
model ↔ external information

RAG does not automatically solve:
evidence ↔ justified conclusion

Связь с триггером извлечения

Триггер извлечения спрашивает, достаточно ли внутренних знаний модели.

Дистанция доказательств задаёт более поздний вопрос: после того как доказательства были извлечены, насколько непосредственно они поддерживают то, что система хочет утверждать?

Need evidence?
   ↓
Retrieval Trigger
   ↓
Retrieve
   ↓
How directly does evidence support the claim?
   ↓
Evidence Distance

Практическая диагностика

Для важного утверждения, сгенерированного ИИ, восстановите цепочку поддержки в обратном порядке.

CLAIM
  ↑
Which inference produced it?
  ↑
Which retrieved evidence supports that inference?
  ↑
Which source produced that evidence?
  ↑
Can the original source still be inspected?

Если цепочка разрывается, система столкнулась с проблемой прослеживаемости доказательств.

Если цепочка остаётся целой, но требует нескольких сильных допущений, дистанция доказательств всё ещё велика.

Пример: данные о продукте

Предположим, в спецификации производителя указано, что ноутбук весит 1,48 кг.

Manufacturer specification
→ 1.48 kg
→ "The laptop weighs 1.48 kg"

Low Evidence Distance

Теперь рассмотрим:

Manufacturer specification
→ 1.48 kg
→ comparison with three competitors
→ assumption about travel behavior
→ "This is the best laptop for frequent travelers"

Much higher Evidence Distance

Спецификация реальна. Рекомендация всё ещё находится на расстоянии нескольких шагов рассуждения от неё.

Пример: научные доказательства

В статье может сообщаться о наблюдаемой связи. Ответ ИИ может ошибочно сжать это в утверждение о причинности.

Observed association
        ↓
Interpretation
        ↓
Unstated causal assumption
        ↓
"X causes Y"

Проблема не в том, что доказательств не существует. Проблема в том, что итоговое утверждение преодолевает большее доказательное расстояние, чем непосредственно подтверждает исследование.

Связь с контекстом, готовым для агентов

Структурированные информационные объекты могут сократить избегаемое доказательное расстояние, сохраняя идентичность источника, единицы измерения, временные метки, конфликты и срок действия вместо того, чтобы заставлять модель восстанавливать их из уплощённого текста.

Простая рабочая шкала

Эта шкала иллюстративна, а не научный стандарт. Её цель — заставить явно задать вопрос: Сколько нам пришлось добавить между доказательством и утверждением?

Заблуждения

Ссылка означает, что доказательное расстояние низкое. Нет. Ссылка может стоять рядом с утверждением, которое существенно превышает то, что устанавливает цитируемый источник.

Большое доказательное расстояние означает, что утверждение неверно. Нет. Сложные выводы могут быть хорошо обоснованы, но они требуют более сильной цепочки рассуждений.

Первичные источники устраняют вывод. Нет. Первичные доказательства всё ещё могут требовать интерпретации.

Больше источников автоматически сокращает расстояние. Десять слабых повторений одного и того же необоснованного утверждения не создают прямых доказательств.

Краевой случай: производные данные

Некоторые производные значения надёжнее, чем необработанные человеческие описания. Правильно вычисленный итог по проверенным транзакциям может быть весьма достоверным, даже если он отделён от исходных записей одним преобразованием.

Таким образом, Эпистемическая дистанция измеряет эпистемическое разделение, а не упрощённое предпочтение нетронутых данных.

Ограничения

Эпистемическая дистанция — это концептуальный диагностический инструмент, а не универсальная количественная оценка.

Разные области требуют разного подхода к выводам. Математическое доказательство, клинические данные, программные журналы, рыночный анализ и историческая интерпретация не могут иметь единого универсального числового порога.

Что могло бы изменить этот ответ?

Будущие системы ИИ могут создавать явные графы происхождения, машинно-проверяемые связи утверждений и доказательств, а также типизированные трассировки рассуждений. Это могло бы сделать части Эпистемической дистанции измеримыми автоматически.

Основная проблема остаётся: утверждение может удаляться от своих доказательств, даже если каждое промежуточное предложение звучит правдоподобно.

Заключение

Важное различие не только между ответами со ссылками на источники и без них.

Оно между утверждениями, которые остаются близкими к непосредственно проверяемым доказательствам, и утверждениями, которые зависят от всё более длинных цепочек интерпретации и предположений.

Evidence
   ↓
Evidence Distance
   ↓
Reasoning
   ↓
Answer Validity Boundary

Эпистемическая дистанция даёт нам язык для описания этого пространства.

Первоисточники

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview. Стандартизированная модель для представления связей происхождения.