为什么AI会检索某些来源而忽略其他来源？——检索权威层

问题

为什么AI检索系统会选择其中一个来源，而忽略另一个看似讨论完全相同主题的来源？

语义相关性只是答案的一部分。两个文档可能与查询同样相似，但在权威性、时效性、来源、范围、权限和适用性方面存在根本差异。

本文使用术语“检索权威层”来指代位于发现潜在相关信息与将该信息视为合适证据之间的来源选择边界。

检索权威层是一组来源选择规则和来源属性，用于确定哪些可检索信息值得成为特定问题的证据。— 工作定义——本文使用的系统概念，并非标准化研究术语。

这真正意味着什么

检索器回答的是一个相对狭窄的问题：哪些条目看起来与此查询相关？

生产级AI系统通常需要回答一个更难的问题：这些相关条目中，哪些应被允许影响答案？

第二个问题引入了来源身份、版本、权威性、有效期、来源和范围。一份相关的旧政策、复制的博客文章或非官方摘要可能排名极高，但对于该决策而言仍然是错误的证据。

Question
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
RETRIEVAL AUTHORITY LAYER
   ↓
Qualified Evidence
   ↓
Context / Reasoning
   ↓
Answer Validity Boundary
   ↓
Answer

AI何时应停止信任自身知识？——检索触发器

检索触发器决定何时需要外部证据。检索权威层则决定哪些来源应提供证据。

最简单的例子

假设一名员工问企业助手：员工有多少天年假？

两段文字可能包含几乎相同的措辞。因此，相似度分数可能将它们排得非常接近。

Semantic relevance
        ≠
Source authority
        ≠
Applicability

当前已批准的HR政策通常应占主导地位，因为它是该主张的管辖来源。较旧的指南仍然是相关文本，但不应具有同等的证据权重。

示例失效之处

权威并不总是一个每次都由某一来源胜出的普遍层级。

事务型数据库可能是订单当前状态的权威来源。产品手册可能是预期操作的权威来源。已签署的合同可能控制商业义务。原始科学论文可能是其实验的最佳来源，而后续的系统综述可能对更广泛的结论更有力。

因此，权威是相对于主张而言的。正确的来源类别取决于所问的问题。

直接回答

当某一来源不仅相关，而且对于所回答的具体主张而言足够权威、及时、适用、可追溯且可访问时，它才应成为优先的检索证据。

Useful retrieval evidence
=
relevance
+ authority
+ provenance
+ freshness
+ applicability
+ accessibility

这些属性并不保证真实性。它们为决定哪些检索到的信息值得进入推理过程提供了更强的基础。

为什么仅靠相似性不够

向量检索非常有用，因为即使措辞不同，它也能找到语义相关的信息。但语义相似性本身并不知道一份文档是否已过时、被取代、非官方、未经授权或在另一司法管辖区有效。

最初的RAG架构展示了外部非参数记忆如何增强模型知识。生产系统必须在该检索过程周围添加特定于应用的控制。

LLM从哪里获取数据？Python中的RAG数据源

文件、数据库、API、搜索和向量索引都可以提供运行时知识。检索方法应与来源和问题相匹配。

六个权威信号

1. 来源身份

系统应知道来源实际上是什么：政策、合同、API、数据库记录、研究论文、文档页面、用户文件或第三方评论。

2. 来源出处

证据应保留其来源、如何进入系统，以及如果该主张受到质疑，可以检查哪个原始对象或文档。

3. 新鲜度

当底层事实发生变化时，时效性至关重要。一个当前的API响应和一篇五年前的文章，可能对查询的词语同样相关，但对其时间要求却并非如此。

4. 适用性

一个事实可能是正确的，但适用于错误的产品版本、国家、租户、客户群、合同、软件发布版本或时间段。

5. 证据特异性

直接支持该主张的原始证据通常比仅仅重复该主张的一系列摘要更有力。

6. 访问合法性

一份技术上可检索的文档并不一定是被授权的上下文。检索权限必须在租户、权限、机密性和数据最小化的边界内运作。

什么是上下文工程？模型在回答前接收什么

上下文组装也是一个有效性和安全性边界。检索到的信息必须保留范围、权限和访问约束。

一个最小权限模型

一个实用的系统可以显式地表示这些属性，而不是寄希望于相似度排序能够捕捉它们。

{
  "source": "hr-policy-6.2",
  "sourceType": "approved_policy",
  "effectiveFrom": "2026-01-01",
  "supersedes": "hr-policy-5.9",
  "jurisdiction": "DE",
  "authority": "primary",
  "accessScope": "employee",
  "provenance": "hr-policy-system"
}

检索器仍然可以使用语义或词汇相关性。权限层添加了仅靠相关性无法提供的约束和重排序信号。

与代理就绪信息的连接

当消费者不是阅读文档的人类，而是做出决策的AI代理时，这一点变得尤为重要。

一个代理就绪的信息对象应在检索阶段之前保留身份、来源、冲突、未知项和有效性条件。否则，系统会试图在信息已经被扁平化为匿名文本之后重建权限。

从原始数据到可验证的AI上下文：代理就绪信息的实用架构

一种投资组合架构，用于将异构数据转化为具有身份、来源、冲突和有效性的受控信息对象。

诊断/决策方法

对于每一个高价值的检索主张，问六个问题：

1. 这一证据究竟来自哪个确切来源？
2. 该来源对此类主张是否具有权威性？
3. 该信息是否仍然是最新的？
4. 它是否适用于该用户、版本、司法管辖区和时间段？
5. 该主张能否追溯到原始证据？
6. 用户或代理是否被授权检索它？

如果系统无法回答这些问题，问题就不再仅仅是检索质量。这是一个证据治理问题。

常见失败模式

相似度得分最高者胜出。这把语义接近性与证据权威性混为一谈。

最新的来源总是胜出。较新的评论可能不如较旧的管辖合同或标准具有权威性。

官方意味着普遍适用。官方来源仍可能属于另一个司法管辖区、版本或范围。

公开意味着可以安全检索。信息可以是公开的，却不适合该任务，而私人信息只有在授权情境内才可能是正当的。

边缘情况：相互冲突的权威来源

困难的情况不是权威来源与明显薄弱来源之间的对比。而是两个看似权威却相互矛盾的来源。

此时，权威层应保留冲突，而不是将其悄然合并为一个答案。

Retrieve
   ↓
Qualify source authority
   ↓
Detect conflict
   ↓
Preserve disagreement
   ↓
Reason about scope / version / provenance
   ↓
Answer only inside the supported boundary

局限性

检索权威层是一种概念架构，而不是通用排名算法。

不同领域需要不同的权威模型。法律、科学、商业、运营和个人数据不能都使用相同的来源层级。

它也无法保证外部搜索或AI系统会对发布者的页面进行排名。外部排名系统仍不受发布者控制。

什么会改变这个答案？

检索系统可能越来越多地自动学习来源可靠性，将结构化来源与神经排名相结合，并通过代理协议协商访问。

这可能会改变权威信号的实现方式。它并不会消除找到相关信息与判断该信息是否值得作为证据权重之间的区别。

结论

检索触发器回答：我需要外部证据吗？

检索权威层回答下一个问题：哪个外部来源值得成为证据？

Model Knowledge
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
Retrieval Authority Layer
   ↓
Qualified Evidence
   ↓
Reasoning
   ↓
Answer

这一区分将RAG从文档检索转向受控的证据检索。

主要来源

Patrick Lewis 等人，面向知识密集型NLP任务的检索增强生成（2020年）。

Akari Asai 等人，Self-RAG：通过自我反思学习检索、生成和批判（2023年）。

Soyeong Jeong 等人，Adaptive-RAG：通过问题复杂度学习自适应检索增强大语言模型（2024年）。