计算机使用代理：为什么成功的演示仍可能是一个不可靠的系统

计算机使用代理现在可以点击、输入、浏览、编辑文件、操作桌面应用程序，并完成令人印象深刻的多步骤任务。这使得成功的演示易于理解，也容易被过度解读。一个完成的工作流表明代理在这些条件下能够成功。它并不能说明成功的频率、环境变化时的行为、是否验证结果，或者在目标变得模糊时行动的安全性。

为什么演示是最简单的可靠性测试

演示通常展示一条成功的轨迹。环境是已知的，任务是预先选定的，操作员可以在失败后重新开始，观众看到的是成功路径。生产系统面对的是一个分布：不同的页面、网络条件、账户状态、弹窗、延迟、UI变化、隐藏状态、权限、中断，以及不完美描述目标的用户。

这种区别很重要，因为计算机使用代理通过为人类设计的界面操作，而不是确定性API。它们的行动循环依赖于感知、状态解释、规划、交互时机和环境响应。即使用户目标不变，微小的变化也可能改变轨迹。

微软研究院的WAREX工作明确指出了这个问题：在受控设置中看起来有能力的基准代理，在引入现实的网络不稳定性后，任务成功率大幅下降。失败不一定是“模型变笨了”。而是环境不再是确定性的。

能力、成功率、可靠性和安全性是不同的主张

计算机使用可靠性阶梯

评估计算机使用系统的一个有用方法是从一次性能力逐步走向越来越难的可靠性属性。更高的层级假设了较低层级，但不会自动从它们推导出来。

第1级——能力：演示问题

能力问的是代理能否执行任务。这很有价值。计算机使用系统发展迅速，现代代理可以完成旧系统无法可靠执行的工作流。

但能力是一个薄弱的部署标准。一次成功运行并不能告诉你代理是95%的时间成功还是30%的时间成功，失败是无害的还是破坏性的，或者成功是否依赖于幸运的页面状态。

第2级——可重复性：同一任务能否保持解决？

计算机使用轨迹具有随机性。模型输出会变化，页面加载速度不同，视觉状态会改变，而长工作流会创造许多分支机会。因此，生产测试应多次运行同一任务，而不是将一次通过的轨迹视为具有代表性。

不仅要衡量平均成功率，还要衡量失败模式的分布：错误点击、过早终止、遗漏确认、字段错误、重复操作、导航循环、过期状态假设以及虚假成功报告。

第3级——环境鲁棒性：当网络表现得像真实网络时会发生什么？

真实网站不是基准测试夹具。请求会失败，元素会延迟加载，会话会过期，页面会变化，同意横幅会出现，服务器会返回错误，网络条件也会波动。

WAREX通过将真实的网络不可靠性注入现有基准环境来评估这一差距，并报告任务成功率显著下降。这是一个关键的生产洞察：基准测试可以衡量任务能力，却会低估从环境不稳定中恢复的能力。

第4级——长时程控制：当任务变成真实工作时，成功会发生变化

短任务会隐藏一类只有在数十或数百次操作后才会出现的失败：遗忘约束、重复工作、过早完成、遗漏状态变化、跨应用不一致以及累积的小错误。

OSWorld 2.0 专门围绕长时程真实世界工作流设计。其任务让人类用户完成的中位时间约为1.6小时，并且需要比早期计算机使用基准多得多的工具调用。在其主要完成度指标下，即使是被评估的最强系统也远未达到完整的任务可靠性。

WeaveBench从另一个角度得出了类似结论。它评估混合GUI、CLI和代码工作流，并报告最佳评估模型-运行时组合仅通过41.2%的任务。重要的结果不是某个排行榜数字，而是真实的跨界面编排会暴露出更简单的单界面任务所隐藏的失败。

第5级——状态感知：环境可能在计划之下发生变化

长时间运行的任务通常依赖隐藏或变化的状态：收到一封电子邮件、日历发生变化、表单被提交、后台进程完成、浏览器会话过期、用户修改文件，或外部系统改变可用性。

微软的SentinelBench认为，许多长时间运行的任务根本不应通过持续行动来解决。正确的行为可能是监控、等待外部事件，然后在状态变化时采取行动。这是一种不同于更快点击或规划更多步骤的能力。

因此，可靠的计算机使用智能体需要区分现在可操作、等待状态、状态已变化以及假设已失效。

第6级——结果验证：操作真的成功了吗？

智能体可以执行一个看似正确的序列，但仍然任务失败。按钮点击可能没有注册。表单可能拒绝隐藏验证。文件可能保存到错误目录。购买可能仍未确认。网站可能显示看似成功的屏幕，而底层操作却失败了。

OpenAI当前的计算机使用指南明确建议对运行进行边界限定和验证，而不是仅依赖模型的最终答案。微软研究院关于计算机使用验证器的工作从评估角度得出了相同结论：过程和结果需要分别评判。

Universal Verifier研究报告称，早期的验证器设置可能产生高假阳性率，而更强的评分标准设计以及对过程、结果、可控失败和不可控失败的明确区分，会显著提高与人工标注的一致性。

第7级——安全目标处理：智能体必须知道何时不应继续

计算机使用智能体经过优化以完成目标，但目标持续性本身可能成为一种失败模式。一个模糊的请求、不可能的条件、矛盾的指令、可疑的网页或变化的环境可能需要澄清或停止，而不是采取更多行动。

BLIND-ACT基准将这一问题作为盲目标导向性进行研究。在该工作中评估的各个系统中，智能体经常在存在模糊性、不可行性、冲突上下文或其他需要重新考虑的原因时仍继续追求任务。作者识别出执行优先偏差和请求首要性等模式。

这一失败类别很重要，因为一个能力很强的智能体可以更快地让糟糕的情况变得更糟。因此，可靠性包括一项关于何时不应行动的策略。

从演示到生产的压力测试

在部署计算机使用工作流之前，取成功的演示并系统地移除那些使其变得容易的假设。

基准成功具有有效性边界

基准分数是一个条件陈述。它对于特定的模型、测试框架、环境、任务集、评判器、工具接口、步骤预算、重试策略、日期和评估方法有效。

当这些条件从声明中消失时，这个数字就会变得具有误导性。“智能体X得分为80%”比“智能体X在环境Z下使用评判器J和步骤预算N在基准Y上得分为80%”更弱。第二个陈述保留了边界，告诉你这个数字是否可以迁移到你的应用中。

过程成功和结果成功必须分开评分

WeaveBench报告称，仅根据结果评分可能会显著高估计算机使用性能，因为智能体可能通过捷径或伪造证据产生看似成功的产物。验证器必须检查轨迹和交付物，而不仅仅是最终声明。

生产可靠性是一个分布，而不是单一通过率

有用的生产评估会抽样你的环境中实际变化的维度。对于浏览器工作流，这可能包括账户年龄、区域设置、视口、页面版本、网络质量、认证状态、现有购物车状态、cookie、弹窗、用户权限以及是否有人类中断运行。

可靠性需要失败预算，而不是完美

没有生产系统是完美可靠的。有用的工程问题是哪些故障是可接受的、可检测的和可恢复的。对本地文件夹进行排序的失败尝试与发送错误的电子邮件、购买错误的产品或更改账户设置并不等同。

根据后果和可逆性对操作进行分类。低影响、可逆的操作可以容忍更多的自主性。高影响、外部可见或难以逆转的操作需要更强的确认、状态验证、授权和操作后检查。

实用的计算机使用可靠性矩阵

计算机使用故障应记录什么

• 用户目标和明确约束。
• 模型和框架版本。
• 环境和应用程序版本。
• 与故障相关的截图或结构化观察。
• 带时间戳的操作。
• 工具、点击、键盘和导航结果。
• 状态转换和等待时间。
• 批准、拒绝或移交事件。
• 外部错误和网络故障。
• 最终可观察的环境状态。
• 代理报告的结果。
• 验证器结果以及故障是否可由代理控制。

关键比较是报告的成功与可观察的成功之间的比较。无法区分这两者的系统最终会在生产中积累假阳性。

安全性是计算机使用代理可靠性的一部分

计算机使用代理不仅仅读取不受信任的内容；它们可以在读取后采取行动。这使得提示注入、恶意页面内容和网络钓鱼成为执行路径风险。

OpenAI当前的计算机使用指南建议隔离环境、允许列出站点和操作、将屏幕内容视为不受信任、确认重要操作、限制运行并验证实际结果。ChatGPT代理同样使用确认、提示注入监控和监督模式来处理敏感上下文。

架构原则比任何单一提供商更广泛：代理观察到的内容不得被允许重新定义用户的权限。网页可以提供数据。它不能授予将数据发送到其他地方、购买东西、更改凭据或覆盖任务边界的权限。

什么会改变这个答案？

如果计算机使用模型在代表性生产分布中变得对长视野、动态状态、UI变化、环境故障和模糊目标具有鲁棒性，可靠性差距将会缩小。更好的原生状态API、标准化的机器可读接口和更强的验证器基础设施也可以减少所需的脆弱GUI交互量。

部署阈值也随任务后果而变化。70%的成功率对于监督下的低风险研究任务可能有用，但对于自主的金融或破坏性工作流则不可接受。因此，可靠性必须根据每个故障类别的成本来评估，而不是一个通用的通过率阈值。

局限性

引用的基准评估不同的环境，不应相互排名，就好像它们测量的是同一件事。WAREX强调网络不可靠性；WeaveBench针对混合长视野工作；OSWorld 2.0针对现实的长工作流；BLIND-ACT专注于模糊和不可行情况下的目标处理。

基准结果也会很快过时。模型、框架和验证器的改进可以在几个月内显著改变分数。因此，持久的教训是评估方法：改变条件、将过程与结果分开、验证外部状态，并围绕每个性能声明保留边界。

结论

计算机使用代理已经足够有用。这正是评估问题发生变化的原因。挑战不再仅仅是代理能否点击完成一个工作流程。而是当干净的演示条件消失时，系统是否仍然可靠。

将一次成功的运行视为能力的证据。然后测试可重复性、环境鲁棒性、长时程控制、状态感知、结果验证和安全目标处理。生产级计算机使用代理不是能完成演示的那个。而是其失败边界已知、可测量和可控的那个。

常见问题

术语表

主要来源和进一步阅读