Могут ли доказательства выжить в конвейере ИИ? — Цепочка сохранения доказательств

Вопрос

Что происходит, когда исходный источник корректен, но конвейер ИИ удаляет информацию, необходимую для правильного понимания этого источника?

Надёжный документ может стать ненадёжным контекстом, если парсинг удаляет структуру таблицы, разбиение отделяет условие от его исключения, нормализация отбрасывает единицы измерения, поиск теряет метаданные версии или сборка контекста скрывает конфликт.

В этой статье используется термин «цепочка сохранения доказательств» для требования, чтобы доказательства сохраняли свойства, необходимые для правильной интерпретации, при переходе от источника к окончательному контексту ИИ.

Цепочка сохранения доказательств — это сквозная последовательность преобразований, в ходе которой доказательства должны сохранять идентичность, происхождение, область действия, смысл и достоверность, прежде чем они смогут безопасно обосновать утверждение, сгенерированное ИИ.— Рабочее определение — архитектурная концепция, введённая здесь, а не стандартизированный исследовательский термин.

Что это на самом деле означает

Большинство обсуждений RAG сосредоточены на том, можно ли найти релевантную информацию.

Но доказательства обычно проходят через несколько преобразований, прежде чем модель их увидит.

Original Source
   ↓
Parsing
   ↓
Normalization
   ↓
Chunking
   ↓
Indexing
   ↓
Retrieval
   ↓
Reranking
   ↓
Context Assembly
   ↓
Model
   ↓
Claim

Доказательства могут деградировать на любом этапе этой цепочки, даже если исходный документ был абсолютно корректен.

Простейший пример

Представьте, что в руководстве по эксплуатации изделия есть такое утверждение:

Максимальная рабочая температура: 40 °C, за исключением случаев, когда установлен аксессуар X, в этом случае предел составляет 35 °C.— Пример исходного утверждения

Плохой процесс разбиения разделяет предложение.

Chunk A:
Maximum operating temperature: 40 °C.

Chunk B:
Except when accessory X is installed, in which case the limit is 35 °C.

Поисковая система возвращает только фрагмент A.

Извлечённый текст не сфабрикован. Он взят непосредственно из руководства. Однако контекст неполон именно в том смысле, который имеет значение.

Correct source
        +
lossy transformation
        =
misleading evidence

Где пример перестаёт работать

Сохранение доказательств не означает копирование каждого байта источника без изменений в контекст модели.

Сжатие, нормализация, разбиение на фрагменты и суммирование часто необходимы. Цель — сохранить свойства, необходимые для правильной интерпретации, а не устранить преобразование.

Таким образом, сложный инженерный вопрос заключается в следующем: какие свойства несут семантическую нагрузку?

Прямой ответ

Доказательства выдерживают конвейер ИИ, когда преобразования между источником и моделью сохраняют достаточно идентичности, происхождения, структуры, единиц измерения, условий, конфликтов и метаданных о достоверности, чтобы извлечённая информация означала в контексте то же самое, что она означала в источнике.

Evidence Preservation
=
meaning
+ identity
+ provenance
+ scope
+ units
+ conditions
+ validity
+ traceability

Почему RAG может давать сбои даже при правильном источнике

Поисковая система может найти правильный документ, но при этом предоставить неверную единицу доказательства.

Проблема могла возникнуть гораздо раньше: во время OCR, парсинга документов, извлечения из HTML, преобразования таблиц, сопоставления полей, построения фрагментов или потери метаданных.

Восемь точек сохранения

1. Идентичность

Конвейер должен сохранять, какую сущность, продукт, документ, пользователя, контракт или запись фактически описывают доказательства.

2. Происхождение

Система должна быть способна проследить извлечённые доказательства до их исходного источника, а не только до анонимного идентификатора фрагмента.

3. Структура

Таблицы, заголовки, списки, отношения родитель-потомок и исключения могут нести смысл, который исчезает, когда всё уплощается в независимые текстовые фрагменты.

4. Единицы измерения

Число без единицы измерения может стать бесполезным или опасным. 100 может означать миллисекунды, килограммы, евро, вольты или процент от базового значения.

5. Условия и исключения

Правила часто содержат условия применимости. Отделение правила от исключения может сохранить слова, но уничтожить смысл.

6. Версия и время

Доказательство должно сохранять, когда оно стало действительным, когда оно было замечено и заменяет ли его более новый объект.

7. Состояние конфликта

Если два источника противоречат друг другу, нормализация не должна молча выбирать одно значение и стирать факт наличия противоречия.

8. Область доступа

Границы разрешений и арендаторов должны оставаться привязанными к доказательствам на протяжении всего поиска и сборки контекста.

От сырых данных к контролируемым доказательствам

Самое надёжное место для сохранения доказательств часто находится до векторизации.

Если идентичность источника, действительность и конфликты теряются до создания эмбеддингов, поиск не сможет волшебным образом восстановить их позже.

Инженерия контекста — часть цепочки

Даже корректно найденные доказательства могут быть повреждены во время сборки контекста.

Сборщик контекста может обрезать исключение, удалить метки источников, объединить конфликтующие фрагменты, изменить порядок зависимостей или превысить полезный бюджет внимания модели.

Связь с дистанцией доказательств

Сохранение доказательств и дистанция доказательств описывают разные режимы отказа.

Evidence Preservation Chain:
Did the evidence survive transformation?

Evidence Distance:
How far is the final claim from that evidence?

Система может идеально сохранять доказательства и всё равно делать из них необоснованный вывод. И наоборот, итоговое рассуждение может быть простым, тогда как сами доказательства были уже искажены ранее в конвейере.

Связь со слоем авторитетности извлечения

Слой авторитетности извлечения выбирает, какой источник заслуживает доказательственного веса.

Цепочка сохранения доказательств гарантирует, что свойства, делающие этот источник авторитетным, не отбрасываются после выбора.

Authority at source
        ↓
Preservation through pipeline
        ↓
Authority still visible in context

Практическая модель данных

Единица извлечения может нести больше, чем текст.

{
  "text": "Maximum operating temperature is 40 °C...",
  "sourceId": "manual-v4.2",
  "entityId": "device-184",
  "section": "Operating limits",
  "validFrom": "2026-03-01",
  "unit": "°C",
  "conditions": ["35 °C when accessory X is installed"],
  "authority": "manufacturer_manual",
  "conflicts": [],
  "accessScope": "public"
}

Точная схема зависит от приложения. Архитектурный принцип состоит в том, что извлекаемый текст не должен отрываться от метаданных, необходимых для его интерпретации.

Диагностический / решенческий метод

Выберите один важный ответ и проследите одно подтверждающее утверждение в обратном направлении через систему.

1. Определите итоговое утверждение.
2. Определите точный фрагмент контекста, который его подтвердил.
3. Определите извлечённый чанк, который породил этот фрагмент.
4. Определите нормализованную запись или разобранный документ, стоящий за чанком.
5. Определите исходный источник.
6. Сравните смысл, охват, единицы измерения, условия и версию на каждом переходе.

Любая точка, где исчезает существенный смысл, является разрывом в цепочке сохранения доказательств.

Режим отказа: осиротевший чанк

Осиротевший фрагмент содержит текст, выглядящий полезным, но не имеет надёжной связи со структурой документа, идентичностью источника, версией или условиями применимости, из которых он произошёл.

"Refunds are available for 30 days."

Missing:
Which product?
Which country?
Which policy version?
From what effective date?
What exceptions?

Предложение может быть подлинным и при этом оставаться ненадёжным доказательством.

Режим отказа: нормализация путём изобретения

Нормализация должна согласовывать представления. Она не должна молча изобретать отсутствующие значения, чтобы записи выглядели полными.

Unknown
≠
False
≠
Zero
≠
Default

Сохранение неизвестных значений является частью сохранения доказательств.

Режим отказа: схлопывание конфликта

Предположим, один утверждённый источник говорит 24 месяца, а другой — 36 месяцев.

Конвейер, который просто сохраняет последнее импортированное значение, создаёт чистую базу данных и уничтожает доказательство того, что конфликт существовал.

Проверяемая система должна сохранять оба значения, их происхождение и неразрешённый конфликт до тех пор, пока правило или решение человека не разрешит его.

Режим отказа: сжатие контекста

Сжатие контекста может быть полезным, но резюме, удаляющее уточнения, может повысить кажущуюся определённость.

Source:
"Evidence suggests X under conditions A and B, but the sample is small."

Bad compression:
"X is proven."

Информация стала короче и одновременно менее правдивой.

Краевой случай: сжатие с потерями всё ещё может быть корректным

Не каждая потеря вредна.

Удаление визуального форматирования из абзаца может не иметь семантических последствий. Преобразование Цельсия в Кельвины может сохранить смысл, если преобразование явное и правильное. Дедупликация точных копий может улучшить поиск без потери доказательств.

Таким образом, цель — не хранение без потерь на каждом этапе. Это семантически достаточное сохранение.

Ограничения

Цепочка сохранения доказательств — это архитектурная концепция, а не гарантия того, что сохранённые доказательства будут интерпретированы правильно.

Модель может получить идеально сохранённые доказательства и всё равно рассуждать плохо. Система поиска может сохранить происхождение и всё равно ранжировать неверный источник. Сам источник тоже может быть неверным.

Сохранение защищает конвейер доказательств. Оно не заменяет оценку источника или рассуждение.

Что могло бы изменить этот ответ?

Будущие системы могут извлекать структурированные объекты доказательств, а не текстовые фрагменты, автоматически сохранять графы происхождения и предоставлять машиночитаемые ограничения валидности непосредственно моделям и агентам.

Это сделало бы сохранение доказательств проще в реализации, но сделало бы принцип более важным, а не менее важным.

Заключение

Надёжный ИИ требует большего, чем поиск правильного источника.

Свойства, которые делают источник полезным, должны сохраниться при парсинге, нормализации, разбиении на фрагменты, поиске и сборке контекста.

Source Authority
      ↓
Evidence Preservation Chain
      ↓
Retrievable Evidence
      ↓
Evidence Distance
      ↓
Reasoning
      ↓
Answer Validity Boundary

Если цепочка разрывается, модель может получить информацию, которая технически подлинна, но больше не безопасна для интерпретации как исходное доказательство.

Первоисточники

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview.