超越提示工程：一种更可靠的人工智能推理方法

提示工程通常被视为向模型提出更好问题的艺术。这很有用，但它只解决了问题的一部分。一个写得好的提示可以提高相关性、结构和任务遵从性，而不会使所得结论在认识论上变得稳健。

更深层的问题在于，大型语言模型并非独立于激活它的提示进行推理。措辞、框架、顺序、请求中嵌入的假设以及用户明确表达的立场，都可能影响模型内部知识中哪些部分在生成的答案中占据主导地位。

这意味着改进AI推理需要的不仅仅是更好的指令。它需要一种方法论，将提示本身视为潜在的偏见来源，并对模型的结论进行结构化验证。

目标不是让模型更智能。目标是更严谨地利用它已有的智能。

能力不等同于推理纪律

现代推理模型可以分解复杂任务、比较备选方案、检查证据、识别矛盾并修正结论。但拥有这些能力并不意味着每个回答都会自动使用所有这些能力。

通用AI助手必须在截然不同的任务和用户之间运作。一个用户想要计算。另一个想要改写一条短消息。另一个想要软件调试。还有一个期望进行历史或科学调查。对每个请求都应用最大化的假设检验协议，往往会增加延迟、冗长和认知负担，而不会提高答案的实际有用性。

因此，核心问题不仅仅是模型能否进行严谨推理。更重要的问题是，在什么条件下这种能力会被系统地激活、挑战和验证。

提示不是中立的界面

研究一再表明，提示中看似次要的特征可以影响模型输出。提示顺序、标签、框架和论证要求都已被证明会产生可测量的方法论伪影。关于谄媚的独立研究表明，语言模型有时可能会将其答案调整为用户表达的立场，而不是保持完全独立的评估。

这并不意味着每个模型都只是同意其用户，也不意味着每个提示都会污染每个结论。它意味着更精确的事情：提示构成了推理环境的一部分。因此，在一种框架下获得的结论不能自动假定在另一种框架下保持不变。

这种区别的后果在提示是偏见的一部分中单独探讨，其中提示框架、指令遵循和模型同意行为被视为方法论问题，而不仅仅是提示问题。

从提示工程到认知过程

传统提示工程主要优化输入。这里提出的方法论则构建从问题到结论的完整路径。

该过程的一种简化形式可以表示为：

问题 → 分解 → 证据 → 竞争性假设 → 反证 → 证伪尝试 → 综合 → 框架检查 → 校准结论

重要的区别在于，第一个连贯的答案不再被视为终点。它成为一个候选结论，必须经受额外的检验。

1. 将证据与解释分开

第一个要求是防止观察、解释和假设坍缩为同一种叙述。模型应明确区分哪些是直接得到支持的，哪些是推断出来的。

• 证据：直接由来源、观察、测量、日志、文档或可复现结果支持的信息。
• 解释：从证据中得出的说明。
• 假设：当前推理过程所需但尚未独立确立的命题。
• 开放问题：现有证据不足以解决的相关不确定性。

这种分离很简单，但它有一个重要后果：不确定性在被吸收进最终叙述之前就变得可见了。

2. 生成竞争性假设

一个强有力的解释不能仅仅因为证据可以被解释为对其有利就得以确立。模型应构建可信的替代方案，并追问同样的证据是否也能由它们来解释。

在历史研究中，这可能意味着区分直接传播、间接传播、独立趋同和回溯性解释。在软件调试中，这可能意味着区分网络故障、配置错误、应用程序缺陷和外部服务故障。在商业分析中，这可能意味着比较对同一市场信号的多种因果解释。

标签因学科而异。方法论原则则不然。

3. 寻找可能使首选解释失败的证据

确认相对容易。给定一个看似合理的假设，人类和语言模型通常都能找到看似与之相容的事实。一个要求更高的检验会追问：如果该假设为真，应该存在什么证据；不应该存在什么证据；以及哪种观察会显著削弱它。

近期关于语言模型中确认偏误的实验工作支持了这一步骤的重要性。当模型被允许自由检验假设时，它们可能偏好确认性检验而非证伪性检验。已有研究表明，鼓励反例和证伪性检验的明确干预措施可以改善假设发现。

证伪和反证在这一方法论中的完整作用在《AI推理的证伪：从答案到经过检验的假设》中展开。

4. 保留来源和因果距离

并非所有支持性信息都具有同等的证据价值。一份原始文件、一种二手解释、一段后来的引文、一份无来源的摘要和一段模型生成的转述，不能仅仅因为它们包含相似的主张就被视为可以互换。

因此，严谨的过程会保留来源与结论之间的路径。在可能的情况下，推理链应保持可检查：

结论 → 解释 → 支持性证据 → 来源

然后可以添加特定领域的验证器。历史研究需要年代学、地理合理性、来源和可能的传播渠道。软件架构需要约束、兼容性、性能、可维护性和故障模式。科学分析需要实验设计、测量质量、可复现性和替代性因果解释。

5. 检验结论是否经得起提示词的考验

最重要的扩展是将提示词本身视为一个变量。

我在这里使用提示不变性这一术语，用于一个实践性测试：当相同的证据在实质性不同但合理的提示框架下被审视时，其核心结论是否保持稳定？

一个有用的实现可以包含至少四个轮次：

1. 原始轮次：按最初提出的方式分析问题。
2. 盲测轮次：移除用户偏好的解释，询问证据支持哪个假设。
3. 反向轮次：将一个可信的对立假设作为起始命题，并用相同证据对其进行检验。
4. 对抗轮次：刻意构建针对当前结论的最强有力的、基于证据的挑战。

目标不是强行得出四个相同的答案。合理的框架差异可能会揭示此前隐藏的假设。相关的信号是哪些事实发现、因果联系和置信度判断在不同表述中得以保留。

因此，提示不变性不应与事实性证明相混淆。更恰当的理解是，它是对某一特定类别的方法论依赖性——即对原始框架的过度依赖——的稳健性测试。

该概念及其局限性在提示不变性：结论能否在提示变化下存活？中有详细展开。

6. 校准结论，而非强求确定性

一种旨在抵抗确认偏误的方法论必须允许最终状态保持不确定。如果每一项调查都被要求以自信的是或否结束，那么这个过程就失败了。

可能的结果包括强支持、中等支持、弱支持、假设之间未解决的竞争、证据不足，或证据与原始命题不一致。重要的要求是，置信度应跟随证据的质量和结构，而不是所生成答案的修辞连贯性。

领域无关的核心与领域特定的验证器

该方法论最初在研究任务中变得尤为明显，因为研究自然会暴露证据、解释和竞争性解释的问题。但其核心并不局限于历史或学术工作。

同样的总体结构可以应用于调试、软件架构、产品战略、技术尽职调查、项目管理、安全分析以及其他领域，在这些领域中，一个看似合理的初步答案可能明显弱于经过检验的结论。

变化的是验证层。认识论核心在很大程度上保持稳定，而每个领域提供自己的规则，以确定什么算作强证据、合理的因果机制或有意义的证伪测试。

从研究协议到可复用推理框架的这一转变，是从研究协议到通用AI推理框架的主题。

为什么推理模型不会自动应用完整方法

人们很容易得出结论，认为足够先进的推理模型应该使这种方法论变得不必要。这种结论混淆了能力与默认行为。

通用助手没有普遍理由为每个请求最大化认识论验证。用户在专业知识、目标、可用时间、期望深度和对复杂性的容忍度方面各不相同。任务在犯错的代价方面也差异巨大。

对于许多请求，直接回答是正确的产品行为。对于其他请求，尤其是研究、架构、高影响决策和复杂技术诊断，额外的验证可以显著提高可靠性。

因此，该方法论充当了对推理目标的有意改变。它不再主要针对有用且连贯的回答进行优化，而是额外重视认知稳健性、可追溯性以及对用户初始框架的抵抗能力。

从方法论到认知验证层

一旦被表达为可重复的过程，该方法论就不再仅仅作为置于语言模型之前的长指令而存在。它可以成为人工智能架构的一部分。

不同的智能体或推理过程可以生成假设、搜索矛盾证据、评估来源、执行对抗性审查，并在不同提示变体之间比较结果。最终答案可以从经过验证的中间状态产生，而不是直接从原始用户请求产生。

提示 → 分解 → 候选解释 → 证据 → 挑战 → 验证 → 综合 → 回应

该架构及其与智能体、检索系统和多轮推理的关系在为LLM设计认知验证层中展开。

该方法论不主张什么

严谨的方法论也应界定自身的局限。

• 它不保证模型拥有必要的知识。
• 它不会使薄弱或缺失的证据变得更强。
• 它不能消除幻觉、框架效应或模型偏见。
• 它不能仅因为多个提示变体产生了某个结论就证明该结论为真。
• 在需要领域专业知识、一手资料、实验或外部验证的情况下，它不能替代这些。
• 它增加了计算工作量、令牌使用量和延迟。
• 其目的是在错误、假设和依赖关系成为结论之前，使其更容易被暴露。

核心原则

提示工程问的是如何从模型获得更好的答案。

这里描述的方法论提出了一个不同的问题：

在我们决定答案足够可信之前，人工智能的结论应经历什么过程？

这种视角的转变是根本性的。它将焦点从优化单个提示转向控制围绕它的推理过程。

提示仍然重要，但它不再被视为不容置疑的起点。它成为一个过程的输入之一，该过程可以检查其假设、挑战其框架，并检验所得结论能否经受替代解释的考验。

实际上，该方法论并不试图创造一个更聪明的模型。它试图更有纪律地利用模型现有的能力。

研究背景

本文的方法论提案受到当前LLM研究中若干相关领域的启发。Sharma等人考察了AI助手中的谄媚行为，以及人类偏好信号与同意用户信念之间的关系。Brucks和Toubia证明，提示架构——包括顺序、标签、框架和理由——可能在模型响应中产生系统性的方法论伪影。Jhaveri等人通过实验考察了假设探索过程中的确认偏误，发现鼓励反例的干预措施减少了确认行为并改善了规则发现。

这些研究并未确立本文提出的完整方法论，也不构成提示不变性是一种标准化验证指标的证据。它们确立了更狭窄的实证发现，这些发现激发了对框架、假设检验和验证进行更明确控制的需求。

精选参考文献

• Sharma, M. 等 — Towards Understanding Sycophancy in Language Models. arXiv:2310.13548，最初发表于2023年；2025年修订。
• Brucks, M. S. & Toubia, O. — Prompt architecture induces methodological artifacts in large language models. PLOS ONE, 2025。
• Jhaveri, A. R., GX-Chen, A., Sucholutsky, I. & Choi, E. — Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models. arXiv, 2026。

继续阅读系列

• 提示本身就是偏见的一部分 — 框架、指令和用户假设如何影响模型推理。
• 提示不变性：结论能否经受住提示的考验？ — 使用盲测、反转和对抗性表述进行的实用稳健性测试。
• AI推理的证伪：从答案到经过检验的假设 — 反证、竞争性假设和否定性检验。
• 从研究协议到通用AI推理框架 — 将方法论应用于历史研究之外。
• 游戏AI：不确定信息下的应用推理 — 来自figure.rocks的应用视角。