AutomationBench 1.0.6

为什么重要

绝大多数 Agent 基准在测”能不能解一道题”，AutomationBench 在测”能不能把活干完”。它的立场写在 Zapier 的发布博客里：现有评测告诉你模型会不会解奥数题、写不写代码、推不推得动逻辑谜题，但没有一样回答企业最关心的那件事——它能不能把 CRM 记录找对、把跟进邮件发给对的人、把系统更新到位，并且全程没弄坏别的东西。

评分口径是这套立场的具体化：不评过程，只评终态。Agent 调用了哪些工具、按什么顺序调用，一律不看；只看它停下来时，这个世界被改成什么样。判断是确定性的断言——该改的记录改了没有，该收到邮件的团队收到没有，不该收到的团队有没有收到。没有 LLM-as-judge，没有”大致正确”。

Zapier 做这件事的资格来自规模：平台每月跑 20 亿+ 次任务，服务 370 万家公司，生态里有 9,000+ 原生应用集成、66,000+ 触发器与动作，外加企业自建的 140,000+ 私有集成。这决定了它提炼出的工作流模式不是想象出来的——销售、市场、运营、支持、财务、人力六个域，就是按平台上最常见的使用模式选的。

构建方式

环境与任务

每道题先”启动一家小公司”：CRM 记录、收件箱会话、日历、电子表格、工单，全部预置成同一份初始世界，每个模型面对的起点完全一样——包括里面的坑。然后一条触发消息（一句 Slack 留言、一封邮件）把 Agent 放进去，之后没有澄清机会、没有人工介入，它得像一个新入职的员工那样自己去找。

找的过程本身就是考点：工具集是 47 个模拟 SaaS 应用、约 500 个 API 端点，Agent 得自己发现该调哪个端点，而不是从一份固定的工具清单里挑。业务规则不在 prompt 里，而是埋在收件箱、电子表格或政策文档中，并且存在优先级覆盖。

官方给的那道样例题很能说明设计意图：

我们刚签下 Meridian Corp 的 Platform Deal！把它标为赢单，并按路由策略把赢单通知发给对应团队。从 Account Hierarchy 电子表格确认客户等级，需要时做货币换算，并检查是否存在未关闭的支持升级工单。

拆开看，这一句话里埋了四层：

评分是六条终态断言。前两层考查”抗干扰检索”，后两层考查”跨实体多跳”——这正是现有工具调用基准普遍测不到的部分。

公开集与私有集

仓库放出的是公开任务集（600 道正式题 + 200 道 simple 域基础题）。官方榜 1.0.6 用的是另一套按域 held-out 的私有题集：分布与公开集相近、断言框架相同，但故意更难，且不发布。Zapier 明确说本地跑出的分与官方榜不会 1:1 对应，只能期望方向一致。更值得注意的是它自己写明的维护策略：

私有任务在版本更新中有时会被进一步加难，目的是在修复 bug 的同时把榜首分数大致维持在原有水平，让基准保持更久的挑战性。

这句话等于公开承认”分数不是跨版本可比的绝对量”——引用 AutomationBench 数字时必须带版本号。

关键发现

分数很低，而且低得有意义

2026 年 4 月的白皮书摘要写的是”即便最好的前沿模型也低于 10%“。到 2026 年 9 月的 1.0.6 榜，榜首 Gemini 4 Argon（High）是 51.29%。这个跨度不能读成”模型半年进步 40 个百分点”——中间夹着版本迭代、任务集加难、评测修复等多重因素。能确定的是量级：一个人类运营专员闭着眼都能做对的跨系统活，最强 Agent 仍然有一半做不完。

分域冠军高度集中，但不是全胜

1.0.6 的分域榜上，Argon 拿下六个域中的五个：

财务域是唯一的例外，而且赢得极险——50.0% 对 49.17%，差 0.83pp。“五冠一亚”这个形状比总分更有信息量：它说明 Argon 的优势是宽的，但不是齐的；财务这类对数字与规则一致性要求最高的域，优势可以缩到噪声以内。

成本与分数不相关

榜上每次运行都报 cost/task，几组对照很刺眼：

• 最贵的不是最好的：GPT-6 Astra (Max) $1.73/任务、41.4%；Claude Sonnet 5.5 (Max) $1.14/任务、44.75%——便宜 34%，高 3.35pp
• 同一模型换档位，性价比翻转：Sonnet 5.5 从 Max（44.75% / $1.14）降到 XHigh（36.83% / $0.48），分数掉 7.9pp、成本降 58%；Opus 5.5 从 Max（42.47% / $1.44）降到 XHigh（35.77% / $0.89），掉 6.7pp、降 38%。降档是”用确定的分数换确定的钱”，不是免费午餐
• 促销价会误导排名解读：Argon 的 $1.70 是按标准定价算的，促销价实际是 $0.85（High）/ $0.77（Medium），只有标价的一半。Zapier 特意用标准定价排名，避免促销扭曲比较

厂商侧回退被官方点名

榜单脚注里有一条罕见的披露：Claude Fable 5.1 的 31.4% 里，Opus 5 代跑了 657 个任务中的 260 个（约 40%）——Fable 5.1 的安全分类器拒答的步骤，由 Opus 5 接手完成，然后 Fable 再收尾，这些完成量计入 31.4%。而且标注的 cost/task 只覆盖 Fable 5.1 本身，组合的真实成本更高。

Zapier 因此把这条从分域榜中排除，标注为”不可直接比较”。这是继同权重双品牌、同权重双脚手架之后，第三种让同一模型出现两个分数的机制在官方榜上被显式披露，也说明”回退”已经普遍到评测方必须在榜上挂免责声明的程度。

公开集与私有集是两条曲线

GitHub README 给的 600 题公开集通过率（各模型最高推理档）是另一组数：

Claude Opus 5 50.3% · Kimi K3 46.67% · Claude Fable 5 46.17% · GPT-5.6 Sol 45.83% · Gemini 3.6 Flash 45.00% · Claude Opus 4.8 41.00% · Gemini 3.5 Flash 38.33% · GPT-5.6 Terra 37.17% · Claude Sonnet 5 34.67% · GLM 5.2 26.17%

注意两点：一是这批模型（Opus 5、Kimi K3、GPT-5.6 系列）与官方 1.0.6 榜上的那批（Argon、Sonnet 5.5、Opus 5.5、Astra、Sol 6.1）几乎不重叠，两组数不能直接比高低；二是公开集榜首 50.3% 与私有集榜首 51.29% 数字接近纯属巧合，因为私有集”故意更难”。

最新进展

• ⭐ 2026-10-12 更新：Mistral Large 4 报出 59.9%——这是本榜迄今见到的最高值，但它来自 Artificial Analysis 的自有 lane（AutomationBench-AA），不能与本卡 topResults 混排。 处理与 tbench.ai 的「Agent + 模型」榜一致：只进正文，不动 topResults。三条理由：① lane 不同——本卡八条全部来自 Zapier 官方 1.0.6 私有集榜（或被验证与该榜同 lane 的 BenchLM 镜像），59.9% 出自 AA 的独立实现，而 AA 在其他基准上已多次出现”自家 harness 版与基准官方 lane 同名不同榜”的情况；② 验证门槛未过——判据是”至少三条已被官方榜确认过的条目逐字复现”，而 Mistral Large 4 只给出了 AutomationBench 一个数，没有任何交叉点可比对；③ 量级提示——59.9% 比官方榜头名 54.8% 高 5.1pp，若真同 lane 就是一次榜首易主，但 Zapier 明确声明私有集会随版本加难，跨版本、跨 harness 的 5pp 差值不足以支撑这个结论。 值得记的是两点背景：Mistral Large 4（2026-10-06 发布，1.05T 总参 / 49B 激活 MoE，1M 上下文）在 AA lane 上的 59.9% 同时伴随 Terminal-Bench 4.0 只有 28.3%（Mistral 自报）/ 22.73%（Vals 独立跑）——同一个模型在”业务工作流编排”与”终端操作”上差 31–37pp，与本榜此前观察到的 Argon 形状（文档型工作流强、终端弱）是同一族现象，只是这次出现在 Mistral 侧。另注：该模型宣称开源权重、但截至发布未提供下载与许可，官方页面与公告对参数量的表述也不一致，引用时应按”API only、待验证”处理。

• 2026-10-05 补录：榜首易主，且是开源权重集体上位——本榜第一次出现「闭源旗舰全部跌出前五」。 BenchLM 在 2026-10-02 的镜像榜上给出 22 个模型的完整序列，前七名是：DeepSeek V4.1 Flash 54.8% · Atria Dawn Preview 53.8% · MiMo-V2.6-Pro 53.1% · Ling 3.1 Flash 52.5% · MiMo-V2.6-Flash 52.3% · Gemini 4 Argon 51.3% · Muse Spark 1.3 49.4%。四条读法：① 前五里四条是开源权重（DeepSeek、上海 AI 实验室的小 Atria Dawn Preview、小米的 MiMo-V2.6 两档），唯一的闭源条目 Ling 3.1 Flash 排在第四；此前本榜前十名里闭源占绝对多数，这个结构在两周内被翻了过来。② 可信度校验：该镜像在 Argon（51.3 vs 官方 51.29）、Astra（41.4 vs 41.4）、Fable 5.1（31.4 vs 31.4）、GPT-6.1 Sol（36.1 vs 36.1）四条上与 Zapier 官方榜逐字一致，因此判定同 lane、可以进 topResults；唯一对不上的是 Opus 5.5（镜像 40.0% vs 官方 42.47%，差 2.47pp，疑为 effort 档位差异），本卡两值并存不判真值。③ 被挤出前八的三条要留痕：GPT-6 Astra 41.4%、GPT-6.1 Sol 36.1%、Claude Fable 5.1 31.4% 仍是官方榜 1.0.6 的原值，掉出 topResults 只是因为榜单拥挤度突变，不是分数下降——一周内本榜新增了五条 52%+ 的条目。④ 头名 54.8% 与第五名 52.3% 只差 2.5pp，而第八名（Opus 5.5 官方 42.47%）与头名差 12.3pp，头部已挤成一条窄带，但绝对水位仍在 55% 以下，saturation 维持「未饱和」。

• ⚠️ 同一轮里还有一个反向信号尚未解决：OpenAI 在 GPT-6.1 Sol 发布图表里称其 AutomationBench「medium 档比 Opus 5.5 高 2.2 个百分点」，而该图表的 max 档读数是 36.1%——低于 Opus 5.5 官方榜的 42.47%。两个说法不冲突但容易误读：前者是 medium-vs-medium 的厂商内部对照（31.7% vs 29.5%），后者是与官方榜的跨档位比较。引用「Sol 6.1 超过 Opus 5.5」时必须写明是 medium 档、约三分之一成本，否则会与本榜 topResults 的顺序矛盾。

• 2026-09-30：Gemini 4 Argon 以 51.29%（High 档）登顶 1.0.6 官方榜，成为首个在私有集上越过 50% 的模型；Medium 档 50.08% 排第二，一次发布占据榜首两席。这也是 Argon 在其 19 项官方对照表里领先幅度最大的一项之一（+8.9pp 于次优模型）

• 2026-09-29：GPT-6.1 Sol 报 36.1%（max 档）/ 35.4%（medium 档），低于 Astra 的 41.4%，是 OpenAI 侧少数明确落后于自家中端旗舰的项

• 2026-09：Anthropic 侧出现中端反超。Sonnet 5.5（44.75%）高于同代旗舰 Opus 5.5（42.47%），差 2.28pp 且便宜 21%。这与同期 Terminal-Bench 4.0 上观察到的方向一致——长程 Agent 类任务上，中端产品线的代际涨幅可以超过旗舰

• ⚠️ 口径注记：本卡 topResults 全部取自官方 1.0.6 私有集榜（2026-09 快照）与厂商发布图表。Zapier 明确声明私有集会随版本加难以维持榜首水平，跨版本分数不可比；Fable 5.1 一条因含 Opus 5 回退被官方标注为不可直接比较，保留在榜内仅为完整性，不宜用于横向排名

关联基准

τ³-bench（单应用内的工具调用与策略遵循，是本卡的直接对照对象——AutomationBench 的论文点名它”每个任务仍在单一应用内”）、AppWorld（少量模拟应用的程序化评测）、WebArena 与 Mind2Web（长程网页任务，非跨应用 API 编排）、OSWorld 2.0（开放-ended 计算机使用）。

不足与展望

• 公开集与私有集的落差没有量化：仓库只说”方向一致”和”私有集更难”，没给同一批模型在两套上的对应分数，外部研究者无法评估公开集的代表性
• 47 个模拟工具不等于真实 SaaS：真实集成有速率限制、分页、鉴权失败、部分成功等 messy 行为，Pydantic 模拟环境把这些剥离掉了。Zapier 的规模优势反而放大了这个落差——它本可以做得更脏
• single-domain 基础题（200 道）不计分，只作能力门槛校验，但目前没有公布各模型在这组上的成绩，无法判断”失败是败在工具调用还是败在跨应用编排”
• 成本口径随促销价漂移：Zapier 已用标准定价排名来规避，但 Argon 等模型在促销期结束后成本会翻倍，届时性价比结论需要重算