От сырых данных к верифицируемому контексту ИИ: практическая архитектура для информации, готовой к использованию агентами

Большинство AI-проектов начинаются слишком поздно в конвейере. Они начинаются с модели, промпта или слоя извлечения и лишь потом обнаруживают, что лежащие в основе данные несогласованны, дублируются, устарели, являются приватными или не могут быть прослежены до надёжного источника.

Более устойчивая архитектура начинается до извлечения. Первая задача — решить, чем на самом деле является информационный объект, откуда он пришёл, к какой идентичности он относится, противоречит ли ему другой источник и при каких условиях он всё ещё действителен.

Что это на самом деле означает

Цель — не создать ещё одну базу знаний, полную текста. Цель — создать информацию, которая остаётся полезной, когда потребителем является уже не человек, просматривающий веб-сайт, а приложение или AI-агент, принимающий решение.

Простейший пример

Представьте три источника данных, описывающих одно и то же устройство. Один поставщик говорит, что у него 32 ГБ памяти, более старый PDF говорит 16 ГБ, а фид производителя говорит 32 ГБ для аппаратной ревизии 4. Обычный конвейер обогащения может выбрать одно значение и перезаписать остальные. Проверяемый конвейер сохраняет расхождение видимым до тех пор, пока идентичность и ревизия не будут разрешены.

Результат — не просто memory = 32 ГБ. Он ближе к: значение 32 ГБ, источник — фид производителя, ревизия 4, рынок EU, замечено в известное время, присутствует конфликтующий более старый источник, текущий статус проверен для разрешённой ревизии.

Где пример перестаёт работать

Реальные бизнес-данные редко бывают настолько чистыми. Названия продуктов дрейфуют, идентификаторы отсутствуют, PDF-файлы используют другую терминологию, поля меняют значение между рынками, а приватные данные одного тенанта не должны утекать в контекст другого. Именно поэтому одной нормализации недостаточно.

Переиспользуемый информационный объект

Почему RAG — не первый шаг

Извлечение может извлечь только то, что было проиндексировано. Если конфликтующие, устаревшие или юридически ограниченные данные индексируются без управления, RAG может сделать ответ лучше выглядящим, одновременно делая лежащее в основе решение менее надёжным.

Более безопасный порядок: контроль прав → классификация источников → разрешение идентичности → извлечение утверждений → происхождение → обнаружение конфликтов → хранилище доказательств → извлечение → рассуждение.

Готовность к агентам не означает управление агентами

Агент должен получать контролируемый контекст, а не неограниченные полномочия. Модель может рассуждать на основе доступной информации, но ей не должно быть позволено выдумывать отсутствующие факты о продукте, ослаблять обязательные ограничения, обходить правила прав на источники или превращать неопределённость в определённость.

Почему это важно за пределами одной области

Та же архитектура применима к техническим продуктам, планированию мероприятий, программной документации, каталогам поставщиков, внутренним знаниям и коммерции. Правила предметной области меняются, но основная проблема остаётся: идентичность, происхождение, конфликты, достоверность и контролируемое повторное использование.

Что могло бы изменить эту архитектуру?

Архитектура должна становиться проще, когда исходная система уже предоставляет канонические идентификаторы, строгое версионирование и договорное качество данных. Она должна становиться строже, когда решения затрагивают регулируемые продукты, безопасность, частные данные или юридически чувствительные результаты.

Заключение

Полезной единицей для будущих систем ИИ является не просто документ или фрагмент текста. Это верифицируемый информационный объект с идентичностью, происхождением, статусом, конфликтами и границей достоверности. Именно этот слой позволяет порталам, бизнес-системам и агентам повторно использовать одни и те же знания, не делая вид, что неопределённые данные являются определёнными.