如何判断一个AI智能体是否真正使用了正确的证据

AI 智能体可以引用来源、检索文档，却仍然使用错误的证据。一个来源可能具有权威性，但与具体主张无关。一段检索到的文本可能只支持答案的一部分。一个正确的来源可能已经过时、被取代，或者只适用于错误的司法管辖区、产品版本、用户或系统状态。这就产生了一个比简单引用检查更难的评估问题：智能体是否真的为其所提出的主张使用了正确的证据？

为什么仅有引用还不够

引用只能回答一个狭窄的问题：系统将某个主张或回复与某个来源关联了起来。它并不能自动证明该来源支持这一具体主张、该来源对该任务足够权威、被引用的文本包含必要条件或例外情况，或者模型依赖了该证据，而不是根据先前的模型知识生成答案。

Anthropic 关于研究型智能体评估的指南明确区分了扎根性、覆盖率和来源质量。OpenAI 的智能体评估指南同样强调轨迹，因为最终输出无法揭示智能体是否选择了正确的工具或遵循了预期的工作流程。这些观点指向一个更广泛的结论：证据质量是执行路径的属性，而不仅仅是最终文本的属性。

每一项重要主张都应通过的四个问题

1. 主张支持：来源是否证明了智能体所说的话？

证据应在主张层面进行评估。一份文档可能与主题相关，却仍然无法支持某个具体陈述。如果来源说某项功能仅在部分区域可用，那么“该功能在全球可用”这一答案就是没有依据的，即使引用看起来似乎合理。

这正是宽泛的“有依据 / 无依据”判断往往过于粗糙的地方。将回复拆分为重要主张，把每项主张映射到支持它的最小证据片段，并对关系进行分类：直接支持、部分支持、矛盾或无支持。

2. 证据权威性：这是正确类型的来源吗？

正确的证据选择不仅仅是语义相关性。来源必须适合该决策。当前账户状态应来自账户系统，而不是一封旧邮件。关于 API 行为的主张最好应依据当前供应商文档或可复现行为来核查。法律要求可能需要适用法律、监管机构或权威指南，而不是一篇泛泛的博客文章。

来源权威性是任务特定的。对于供应商文档未承认的真实世界漏洞，社区报告可能是最佳证据。供应商公告对于供应商所声称的内容可能具有权威性，但对于独立性能而言则是弱证据。因此，评估者需要为任务制定明确的来源层级，而不是使用一个通用的权威评分。

3. 适用性：证据正确，条件错误

最危险的证据错误往往不是伪造来源，而是有效来源被用在其边界之外。建议可能会随软件版本、日期、司法管辖区、硬件修订版、用户权限、产品可用性、当前游戏状态、租户配置或其他环境变量而变化。

对于每个重要来源，都要保留决定其是否仍然适用的条件。这在摘要之后尤其重要：压缩后的记忆或引用可能保留了结论，却丢掉了使该结论有效的例外、日期或前提条件。

4. 证据使用：智能体是否真正依赖了证据？

即使检索失败，答案也可能是正确的。模型可能已经知道答案，从不相关的上下文中推断出答案，或者只是碰巧猜对了。如果评估只检查最终正确性，系统可能看起来有充分依据，而证据路径却是断裂的。

要评估证据使用情况，需要检查追踪记录。确认检索到了哪些来源、哪些段落进入了模型上下文、它们何时可用，以及最终主张能否由这些输入解释。OpenAI 当前的智能体评估工具强调追踪评分，正是因为仅凭最终答案无法可靠地重建工作流层面的行为。

证据利用测试

一种实用的评估可以构建为受控的反事实测试。不要只问答案是否正确，而是改变证据并观察主张是否按预期方向变化。

主张–证据矩阵比来源列表更有用

这个矩阵迫使人们提出几个传统引用检查所隐藏的问题。一个主张可能需要多个来源。一个来源可能只支持主张的一部分。一个权威来源可能只有很短的有效期。而一个完全良好的来源，如果从未进入执行路径，也可能无关紧要。

将检索质量与证据质量分开

检索指标询问是否找到了相关材料并进行了排序。证据评估询问这些材料是否证明了由此产生的主张。两者相关但并不相同。

将来源质量作为评分标准来评估，而不是域名白名单

硬编码的“可信域名”列表很诱人，但往往很脆弱。来源质量应改为反映主张类型。有用的维度包括一手与二手地位、时效性、直接性、可复现性、独立性、领域专业知识、数据来源、更新频率，以及来源是否有夸大主张的动机。

Anthropic 的研究智能体评估指南明确将来源质量检查与有据性和覆盖范围并列提出。因此，实际实施应同时评估来源说了什么，以及该来源是否适合这类陈述。

证据覆盖范围：每个重要主张都需要支持，而不是每句话

并非每一句话都需要引用。过渡性语言、从引用值透明推导出的算术结果，或明确标注的解释，可能不需要单独的来源。但每一个实质性的、可外部验证的断言都应有足够的支撑，使评估者能够重建为什么该智能体被允许这样说。

因此，覆盖度应按断言重要性加权。装饰性细节缺少支撑，与价格、资格决定、安全说明、法律要求、技术兼容性声明或驱动推荐的事实缺少支撑，并不等同。

证据来源必须在摘要化和记忆化后仍然保留

长期运行的智能体常常会总结先前的工作或写入持久记忆。如果证据来源在这一转换过程中被剥离，未来的智能体可能检索到一个干净的结论，却不知道它来自用户陈述、实时 API、旧文档、模型推断，还是未经核实的网络结果。

对于重要事实，至少应保留来源身份、检索或观察时间、证据类型、相关版本或状态，以及所存储文本是引用、摘要、推断还是派生。来源信息使后续智能体能够判断该证据应被信任、刷新、限制还是丢弃。

实用的证据记录

看似有依据但实际上没有的失败模式

如何在生产环境中评估智能体

OpenAI 当前的评估指南建议采用任务特定评估、持续评估、源自生产的数据集，以及用于调试智能体行为的追踪。Anthropic 同样建议为研究型智能体组合多种评分器类型，因为正确性、来源质量、覆盖度和有据性是不同的维度。证据评估应遵循同样的模式：多个窄范围评分器比一个不透明的“质量”分数更具诊断价值。

不要让 LLM 评判者成为唯一的证据评判者

LLM 评分器可用于可扩展的断言分类、相关性检查和成对比较，但它们可能与其所评估的系统共享同样的盲点。评分器可能接受一个看似合理但无支撑的断言，漏掉微妙的版本边界，或高估一个经过润色的来源。

OpenAI 的评估指南建议根据人工判断校准自动评分器，并使用清晰、有范围的准则。对于证据密集型系统，应尽可能使用确定性检查：时间戳、对象版本、权限范围、精确来源 ID、检索顺序、文档哈希，以及证据是否在模型生成断言之前就已存在。

什么会改变这个答案？

当智能体在小型、不可变、权威的语料库上运行，且每个答案都严格是抽取式的时候，评估可以更简单。在这种环境中，来源权威性和适用性大多是固定的，断言到片段的支撑可能就足够了。

当智能体混合使用网络搜索、长期记忆、实时工具、多个司法管辖区、快速变化的信息、用户特定状态或自主行动时，评估必须变得更严格。在这些系统中，证据有效性不仅取决于来源文本，还取决于证据是何时以及如何获得的。

未来的模型可能会更擅长在内部追踪来源和不确定性，但在需要可审计性的系统中，这并不能消除对外部证据记录的需求。当轨迹和来源元数据能够提供更强证据时，系统不应依赖模型对自身受何影响的自我报告。

局限性

仅凭轨迹并不总能证明因果性的证据使用。一个来源可能存在于上下文中，却没有影响答案，而模型也可能独立地知道同一事实。反事实测试能增强推断，但测试本身也可能改变任务分布。

来源权威性也可能存在争议，或取决于领域。有些问题没有单一的权威来源，专家也可能对哪些证据应获得更大权重存在分歧。在这些情况下，评估者应保留分歧，并依据明确的评分标准来评估透明度、覆盖范围和推理，而不是假装存在一个不容置疑的真理来源。

结论

“智能体是否引用了来源？”这个问题对于生产级 AI 来说太弱了。更强的问题是：每个重要主张是否都来自真正支持它的证据，该证据是否具有正确的权威性，是否仍适用于当前条件，并且在主张提出之前是否已存在于执行路径中？

这使证据从装饰变成了可评估的系统属性。捕获轨迹。将主张映射到证据。检查权威性和适用性。运行反事实证据测试。在摘要和记忆中保留来源信息。这样，正确答案不仅看似合理——它还拥有一条你可以检查的证据路径。

常见问题

术语表

主要来源与延伸阅读