AI主张与证据之间有多远？——证据距离

问题

两个AI回答可能都引用了来源，但在这些来源对所提主张的支持有多直接上，仍可能大相径庭。我们该如何描述这种差异？

本文使用术语证据距离来表示一项主张与支持它的可直接检验证据之间的距离。

证据距离是指将一项主张与能够直接验证它的证据分隔开的转换、假设和推理步骤的数量与强度。— 工作定义——此处引入的一个推理概念，并非标准化指标。

这真正意味着什么

引用证明某个来源被参考了。它并不自动证明该来源直接支持引用旁边的句子。

在原始观察与最终AI回答之间，可能存在提取、解析、分块、检索、摘要、解释、聚合和推理。

Primary evidence
   ↓
Extracted data
   ↓
Retrieved passage
   ↓
Summary
   ↓
Interpretation
   ↓
Inference
   ↓
Final claim

每一步都可能是合理的。但每一步也可能引入失真。

最简单的例子

假设一个温度传感器报告38.2 °C。

原始传感器值直接支持第一个主张。它本身并不能证明第三个主张。

Evidence exists
        ≠
Evidence directly supports every derived claim

这个例子在哪里不再适用

证据距离并不只是句子或处理步骤的计数。

一个数学上有效的转换可能几乎完美地保留证据，而一个推测性解释可能造成大得多的认识论跳跃。

因此，这个概念既包括转换距离，也包括推理距离。

直接回答

当一项主张所依赖的转换、假设、较弱的来源或比底层证据直接支持的更强的推断越多时，证据距离就会增加。

Short distance:
source → claim

Longer distance:
source → extraction → summary → assumption → inference → claim

更长的距离并不会自动使一项主张为假。它意味着推理链需要更多的验证。

为什么这对人工智能很重要

大语言模型特别擅长在信息片段之间生成流畅的衔接。这种能力很有用，但流畅性可能掩盖结论已经偏离直接检索到的证据有多远。

因此，一个答案可能看起来来源充分，却包含那些只有通过若干未明说的推断步骤才得到支持的主张。

从研究协议到通用人工智能推理框架

可靠的推理要求明确区分证据、假设、假说和结论。

证据距离的四个组成部分

1. 转换距离

在到达模型之前，原始证据被转换、总结、规范化或重新格式化了多少次？

2. 推断距离

在证据支持最终结论之前，需要多少推理步骤？

3. 来源距离

检索到的陈述是否仍可追溯到可识别的原始来源，还是已经经过了来源不明的摘要和副本？

4. 适用性距离

需要多少推理才能确定该证据适用于这个确切的版本、用户、司法管辖区、时间段或情况？

RAG 中的证据距离

RAG可以缩短一个重要距离：模型与外部知识之间的距离。

它不会自动缩短检索到的段落与最终主张之间的距离。

RAG solves:
model ↔ external information

RAG does not automatically solve:
evidence ↔ justified conclusion

LLM从哪里获取数据？Python中的RAG数据源

检索将外部信息带入上下文。证据距离则探讨这些信息与最终产生的主张之间发生了什么。

与检索触发器的联系

检索触发器询问模型内部知识是否足够。

证据距离则提出一个更晚的问题：在证据被检索到之后，它如何直接支持系统想要主张的内容？

Need evidence?
   ↓
Retrieval Trigger
   ↓
Retrieve
   ↓
How directly does evidence support the claim?
   ↓
Evidence Distance

AI何时应停止信任自己的知识？——检索触发器

触发器决定何时需要证据。证据距离评估最终主张在多大程度上超出了该证据。

一个实用的诊断方法

对于AI生成的重要主张，逆向重建支持链。

CLAIM
  ↑
Which inference produced it?
  ↑
Which retrieved evidence supports that inference?
  ↑
Which source produced that evidence?
  ↑
Can the original source still be inspected?

如果链条断裂，系统就遇到了证据可追溯性问题。

如果链条保持完整但需要几个强假设，证据距离仍然很高。

示例：产品数据

假设制造商规格说明某台笔记本电脑重1.48公斤。

Manufacturer specification
→ 1.48 kg
→ "The laptop weighs 1.48 kg"

Low Evidence Distance

现在考虑：

Manufacturer specification
→ 1.48 kg
→ comparison with three competitors
→ assumption about travel behavior
→ "This is the best laptop for frequent travelers"

Much higher Evidence Distance

规范是真实的。建议距离规范仍有若干推理步骤。

示例：科学证据

一篇论文可能报告观察到的关联。AI 回答可能错误地将其压缩为因果陈述。

Observed association
        ↓
Interpretation
        ↓
Unstated causal assumption
        ↓
"X causes Y"

问题不在于没有证据存在。问题在于最终陈述跨越的证据距离大于研究直接支持的范围。

与智能体就绪上下文的联系

结构化信息对象可以通过保留来源标识、单位、时间戳、冲突和有效性来减少可避免的证据距离，而不是迫使模型从扁平化文本中重建它们。

从原始数据到可验证的 AI 上下文：面向智能体就绪信息的实用架构

在检索之前保留来源和有效性，可减少后续所需的无支持重建步骤。

一个简单的工作量表

这个量表是说明性的，不是科学标准。其目的是强制提出一个明确的问题：我们必须在证据和主张之间添加多少内容？

误解

有引用意味着证据距离低。不。引用可能位于一个大幅超出所引来源所确立内容的主张旁边。

证据距离长意味着主张错误。不。复杂结论可以得到良好支持，但它们需要更强的推理链。

一手来源消除推断。不。一手证据仍可能需要解释。

更多来源会自动减少距离。同一个无支持主张的十次薄弱重复并不会创造直接证据。

边缘情况：派生数据

一些衍生值比原始的人类描述更可靠。从已验证交易中正确计算出的总计值可能高度可靠，即使它与原始记录之间隔着一层转换。

因此，证据距离衡量的是认知上的分离程度，而不是对未经改动数据的简单偏好。

局限性

证据距离是一种概念性诊断工具，而不是通用的量化评分。

不同领域需要对推断进行不同的处理。数学证明、临床证据、软件日志、市场分析和历史解释无法共享一个通用的数值阈值。

什么会改变这个答案？

未来的AI系统可能会生成显式的溯源图、机器可检查的主张-证据链接以及带类型的推理轨迹。这可能使证据距离的某些部分可以自动测量。

根本问题依然存在：即使每一个中间句子听起来都合理，一个主张也可能离其证据越来越远。

结论

重要的区别不仅仅在于有来源的答案和无来源的答案之间。

而在于那些仍然接近可直接检验证据的主张，与那些依赖于越来越长的解释和假设链条的主张之间。

Evidence
   ↓
Evidence Distance
   ↓
Reasoning
   ↓
Answer Validity Boundary

证据距离为我们提供了一种描述该空间的语言。

主要来源

Patrick Lewis 等人，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（2020年）。

Nelson F. Liu 等人，Lost in the Middle: How Language Models Use Long Contexts（2023年）。

W3C，PROV Overview。一种用于表示溯源关系的标准化模型。