Почему ИИ извлекает одни источники и игнорирует другие? — Уровень авторитетности извлечения

Вопрос

Почему система ИИ-поиска выбирает один источник и игнорирует другой, который, казалось бы, обсуждает точно ту же тему?

Семантическая релевантность — лишь часть ответа. Два документа могут быть одинаково похожи на запрос, но радикально различаться по авторитетности, свежести, происхождению, охвату, правам доступа и применимости.

В этой статье используется термин «слой авторитетности поиска» для границы выбора источников, которая находится между нахождением потенциально релевантной информации и рассмотрением этой информации как подходящего доказательства.

Слой авторитетности поиска — это набор правил выбора источников и свойств источников, которые определяют, какая доступная для поиска информация заслуживает того, чтобы стать доказательством для конкретного вопроса.— Рабочее определение — системная концепция, используемая в этой статье, а не стандартизированный исследовательский термин.

Что это на самом деле означает

Поисковая система отвечает на относительно узкий вопрос: какие элементы кажутся релевантными этому запросу?

Продакшн-система ИИ обычно должна ответить на более сложный вопрос: каким из этих релевантных элементов следует позволить повлиять на ответ?

Этот второй вопрос вводит идентичность источника, версию, авторитетность, период действия, происхождение и охват. Релевантная старая политика, скопированный пост в блоге или неофициальное резюме могут иметь очень высокий рейтинг, но при этом быть неподходящим доказательством для решения.

Question
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
RETRIEVAL AUTHORITY LAYER
   ↓
Qualified Evidence
   ↓
Context / Reasoning
   ↓
Answer Validity Boundary
   ↓
Answer

Простейший пример

Представьте, что сотрудник спрашивает корпоративного ассистента: сколько дней отпуска получают сотрудники?

Оба фрагмента могут содержать почти идентичные формулировки. Поэтому оценка сходства может расположить их очень близко друг к другу.

Semantic relevance
        ≠
Source authority
        ≠
Applicability

Текущая утверждённая кадровая политика обычно должна преобладать, поскольку она является руководящим источником для утверждения. Старое руководство остаётся релевантным текстом, но оно не должно иметь такой же доказательный вес.

Где пример перестаёт работать

Авторитет не всегда представляет собой универсальную иерархию, в которой один источник побеждает каждый раз.

Транзакционная база данных может быть авторитетной для текущего статуса заказа. Руководство по продукту может быть авторитетным для предполагаемой работы. Подписанный контракт может определять коммерческое обязательство. Первичная научная статья может быть лучшим источником для своего эксперимента, тогда как более поздний систематический обзор может быть сильнее для более широкого вывода.

Таким образом, авторитет относителен утверждения. Правильный класс источника зависит от того, что запрашивается.

Прямой ответ

Источник должен стать предпочтительным доказательством для извлечения, когда он не просто релевантен, но также достаточно авторитетен, актуален, применим, отслеживаем и доступен для конкретного утверждения, на которое даётся ответ.

Useful retrieval evidence
=
relevance
+ authority
+ provenance
+ freshness
+ applicability
+ accessibility

Эти свойства не гарантируют истинность. Они создают более прочную основу для решения о том, какая извлечённая информация заслуживает включения в процесс рассуждения.

Почему одного сходства недостаточно

Векторный поиск чрезвычайно полезен, поскольку он может находить семантически связанную информацию, даже когда формулировки различаются. Но семантическое сходство само по себе не знает, является ли документ устаревшим, заменённым, неофициальным, несанкционированным или действительным для другой юрисдикции.

Исходная архитектура RAG показала, как внешняя непараметрическая память может дополнять знания модели. Производственные системы должны добавлять специфичные для приложения средства контроля вокруг этого процесса извлечения.

Шесть сигналов авторитета

1. Идентичность источника

Система должна знать, чем на самом деле является источник: политика, контракт, API, запись в базе данных, научная статья, страница документации, пользовательский файл или сторонний комментарий.

2. Происхождение

Доказательство должно сохранять информацию о том, откуда оно пришло, как оно попало в систему и какой исходный объект или документ можно проверить, если утверждение оспаривается.

3. Свежесть

Свежесть имеет значение, когда меняется лежащий в основе факт. Текущий ответ API и статья пятилетней давности могут быть одинаково релевантны словам запроса, но не его временному требованию.

4. Применимость

Факт может быть верным, но относиться не к той версии продукта, стране, арендатору, группе клиентов, договору, релизу программного обеспечения или периоду времени.

5. Конкретность доказательств

Первичное доказательство, непосредственно подтверждающее утверждение, как правило, сильнее цепочки резюме, которые лишь повторяют его.

6. Законность доступа

Технически извлекаемый документ не обязательно является авторизованным контекстом. Полномочия на извлечение должны действовать в рамках границ арендатора, разрешений, конфиденциальности и минимизации данных.

Минимальная модель полномочий

Практическая система может явно представлять эти свойства, а не надеяться, что ранжирование по сходству их уловит.

{
  "source": "hr-policy-6.2",
  "sourceType": "approved_policy",
  "effectiveFrom": "2026-01-01",
  "supersedes": "hr-policy-5.9",
  "jurisdiction": "DE",
  "authority": "primary",
  "accessScope": "employee",
  "provenance": "hr-policy-system"
}

Модуль извлечения по-прежнему может использовать семантическую или лексическую релевантность. Уровень полномочий добавляет ограничения и сигналы переранжирования, которые одна релевантность обеспечить не может.

Связь с информацией, готовой для агентов

Это становится особенно важным, когда потребителем является не человек, читающий документы, а ИИ-агент, принимающий решения.

Информационный объект, готовый для агентов, должен сохранять идентичность, происхождение, конфликты, неизвестные и условия действительности до этапа извлечения. В противном случае система пытается восстановить полномочия после того, как информация уже была уплощена в анонимный текст.

Диагностический / решающий метод

Для каждого ценного извлечённого утверждения задайте шесть вопросов:

1. Какой именно источник породил это доказательство?
2. Является ли этот источник авторитетным для данного типа утверждения?
3. Актуальна ли ещё эта информация?
4. Применима ли она к этому пользователю, версии, юрисдикции и периоду времени?
5. Можно ли проследить утверждение до исходного доказательства?
6. Был ли пользователь или агент уполномочен получить его?

Если система не может ответить на эти вопросы, проблема уже не только в качестве поиска. Это проблема управления доказательствами.

Типичные режимы отказа

Побеждает наивысшая оценка сходства. Это путает семантическую близость с доказательственным авторитетом.

Всегда побеждает самый новый источник. Более новый комментарий может быть менее авторитетным, чем более старый действующий договор или стандарт.

Официальный означает универсально применимый. Официальный источник всё ещё может относиться к другой юрисдикции, версии или области действия.

Публичный означает безопасный для получения. Информация может быть публичной, но непригодной для задачи, тогда как частная информация может быть законной только в авторизованном контексте.

Краевой случай: конфликтующие авторитетные источники

Сложный случай — это не авторитетный источник против явно слабого источника. Это два явно авторитетных источника, которые противоречат друг другу.

В этот момент уровень авторитета должен сохранить конфликт, а не молча свести его к одному ответу.

Retrieve
   ↓
Qualify source authority
   ↓
Detect conflict
   ↓
Preserve disagreement
   ↓
Reason about scope / version / provenance
   ↓
Answer only inside the supported boundary

Ограничения

Уровень авторитета поиска — это концептуальная архитектура, а не универсальный алгоритм ранжирования.

Разные домены требуют разных моделей авторитета. Юридические, научные, коммерческие, операционные и личные данные не могут все использовать одну и ту же иерархию источников.

Он также не может гарантировать, что внешняя поисковая система или система ИИ будет ранжировать страницу издателя. Внешние системы ранжирования остаются вне контроля издателя.

Что изменило бы этот ответ?

Поисковые системы могут всё чаще автоматически изучать надёжность источников, сочетать структурированное происхождение с нейронным ранжированием и согласовывать доступ через агентные протоколы.

Это может изменить способ реализации сигналов авторитета. Это не устраняет различие между поиском релевантной информации и решением о том, заслуживает ли эта информация доказательственного веса.

Заключение

Триггер извлечения отвечает на вопрос: нужны ли мне внешние доказательства?

Уровень полномочий извлечения отвечает на следующий вопрос: какой внешний источник заслуживает того, чтобы стать доказательством?

Model Knowledge
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
Retrieval Authority Layer
   ↓
Qualified Evidence
   ↓
Reasoning
   ↓
Answer

Это различие переводит RAG от извлечения документов к контролируемому извлечению доказательств.

Первоисточники

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Akari Asai et al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (2023).

Soyeong Jeong et al., Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity (2024).