Terminal-Bench 4.0 4.0.0

为什么重要

Terminal-Bench 4.0 代表了评测基准设计思路的一次转向：基准不再是发布后就固定的静态考卷，而是一套会随模型能力演进而自我修订的滚动任务集。

它的官方定位是”real terminal environments, real software engineering tasks, and a rolling task set that is revised as agents catch up to it”。这句话的分量在于后半句——当模型把某批任务刷满时，任务不会留在榜上充当虚高的分数，而是被主动淘汰。

这一版最值得注意的动作是净减任务：从 3.0 的 74 个任务削减到 66 个，移除 8 个、修订 20 个、新增 0 个。Harbor 团队对移除原因的说明很直接：

“Harbor’s v4.0.0 release calibrates task resources, fixes broken tasks, and retires saturated ones, tasks frontier agents had already maxed out and that no longer separate models from each other.”

在一个普遍以”任务数越多越有说服力”为默认假设的领域里，主动减少任务数是反直觉的。但正是这一动作让 4.0 保住了区分度：头名 58.2% 与第十名 17.3% 之间仍有 41 个百分点的落差，与已经高度饱和的 Terminal-Bench 2.1（Top 8 全部 83%+，Top 4 压缩至 4pp 以内）形成鲜明对比。

版本沿革：从 Frontier-Bench 到 Terminal-Bench 4.0

一个容易踩坑的事实：3.0 的 74 任务集此前以 “Frontier-Bench” 品牌发布，因此不少 2026 年 7 月的资料把两者当作两个独立基准。它们实际上是同一套任务集的先后品牌。Frontier-Bench v0.1 的 Opus 5 分数（43.3%–44.4%）与 4.0 的 51.8% 也因此不可直接比较——任务集本身已经换过一轮。

构建方式

Terminal-Bench 4.0 的任务全部来自社区，任何人都可以向 github.com/harbor-framework/terminal-bench 提交 PR 提议任务。每个任务在计入排行榜之前要穿过一道相当长的流水线：

1. 静态检查（static checks）
2. Rubric 评审（rubric review）
3. Docker / oracle / no-op 验证——no-op 基线用于剔除”什么都不做也能过”的假任务
4. 维护者评审（maintainer review）
5. Agent 与对抗性”作弊”试验（agent and adversarial “cheat” trials）
6. hacker-fixer 加固循环

任务按其考察的主要技能归入一个封闭领域集合：science, software, ML, operations, security, hardware, media（7 个领域，31 个子域，继承自 3.0）。

防污染方面，公开站点用 canary string 标记任务与排行榜数据，明确请求这些数据不要进入模型训练语料。

运行方式固定为 Harbor harness：

harbor run -d terminal-bench/terminal-bench@4.0.0

数据集托管在 hub.harborframework.com。需要注意的是，榜上的 max / high 是各 harness（Claude Code、Codex、Grok Build 等）自身的推理/agent 力度控制，不是 Terminal-Bench 的参数——这也就意味着跨 harness 的分数比较仍然带有脚手架效应。

完整排行榜（2026-09-12 读取官方 Snorkel 榜）

Tokens 与 Cost 是完整跑完 66 个任务的总量，未按 effort 档位归一化。

关键发现

1. 头名与 runner-up 只差 0.3pp，但都在 ±3 误差带内重叠。 GPT-6 Astra 58.2% ±2.8 与 Fable 5.1 57.9% ±3.8 的差距远小于各自的 run-to-run 方差，实际应视为并列第一。真正稳固的差距出现在第 3 名之后：Opus 5（51.8%）落后头名 6.4pp，已超出误差带。

2. GPT-6 Astra 用不到一半的 token 拿到第一。 1.5B tokens / $3.3k 对比 Fable 5.1 的 2.7B / $6.2k，效率差约 2 倍。这是本轮榜单上最实质性的变化——过去几版 Terminal-Bench 的头名往往伴随最高的 token 消耗。

3. 开源模型第一次进入第一梯队。 GLM-5.3 以 41.8% 排第 5，成本 $2.7k，是 Top 5 中唯一的开源权重模型。对比 2.1 时代开源最佳（Kimi K3 88.3%，但那是另一个任务集），在滚动集上的 41.8% 距离闭源头名 16.4pp——差距仍在，但不再是”6-8 倍”级别。

4. Sonnet 5 的性价比在本榜上崩塌。 21.6B tokens、$9.6k 换 12.4%，是全场最贵且排名倒数第二的配置。这与它在其他基准上的表现形成强烈反差，说明长程终端任务的失败模式与常规推理任务不同——token 消耗高不等于推进有效。

5. 成本与得分不相关。 GPT-5.6 Luna 用 $0.3k 拿到 17.3%，而 Sonnet 5 花 $9.6k（32 倍）只拿到 12.4%。在 4.0 上，“多花 compute”并不能买来任务完成率。

最新进展

• ⭐ 2026-10-17 更新：Vals AI 2026-10-16 快照——Meta 的 Muse Wonder 首次入榜并直接插进第 4/第 9 两位，另有一条此前的未决项被重跑判定。 本轮全部为正文更新，不动 topResults（理由见文末）。 ① Muse Wonder 是 2026-10 这一轮唯一的新面孔，而且一进榜就是两条。 Vals 统一 mini-SWE-agent + avg@3 lane 上：Wonder Full 58.08%（$10.53/任务，1h12m）与 Fable 5.1 同分并列第 4；Wonder 49.49%（$14.66，54m41s）排第 9。两者是同一产品线的两档（Full / 标准），同族内部差 8.59pp，而贵的那档反而分更低（$14.66 vs $10.53）——这与本卡在 ARC-AGI-3 双脚手架、GPT-6.1 Sol 跨档位上反复观察到的规律同族：同一套权重换配置可以有 8pp 以上的位移，任何不带档位与脚手架的百分比都不可比。 ② 一条上个月记下的未决项现在可以判了。 本卡 2026-10-12 曾记「Mistral Large 4 有两个互斥值：Mistral 自报 28.3%、Vals AI 独立跑 22.73%±0.88，差 5.6pp 未决」。10-16 快照里 Vals 给的是 27.78%（$10.25/任务，1h40m），与自报的差距从 5.6pp 收窄到 0.5pp。这是本卡第二次观察到「Vals 数值随重跑上修」（第一次是 Opus 5.5 的 61.62% → 65.15%），判据固化：引用任何 Vals / AA 数值必须带抓取日期，下一轮先做”旧值还认得吗”这一步再谈新值。 ③ Haiku 5.5 首次拿到独立曲线值：36.36%（$3.12/任务，51m56s），低于 Anthropic 自报的 39.2% 约 2.8pp。 三个数字一起看才有意义——前代 Haiku 4.5 是 0.0%、本代自报 39.2%、Vals 独立跑 36.36%。代际跃迁是真的（0 → 36），但落后同代 Sonnet 5.5（64.14%）27.8pp 也是真的，两条必须同时写。 ④ 分域冠军表刷新（2026-10-13）：Argon 拿下运维 55.56% 与媒体 83.33% 两项第一——运维域的领先者从 10-07 的 Sonnet 5.5（51.85%）换成了 Argon，两周内换人；Opus 5.5 守住科学 71.43%、与 Sonnet 5.5 并列 ML 81.82%、与 Opus 5 并列安全 100%；Astra 仍是唯一在软件域过 60% 的（61.11%）；硬件域里 Opus 5.5 / Fable 5.1 / Astra 三家并列 60.00%，但 Vals 明确把硬件标为全榜最难的一域。 ⑤ 五条 Anthropic 记录的厂商侧回退计数逐条对得上 10-07 快照（Opus 5.5 22/198 → 58.08%、Sonnet 5.5 4/198 → 62.63%、Fable 5.1 22/198 → 50.00%、Fable 5 42/198 → 33.84%、Opus 5 1/198 → 53.03%），lane 确认。 为什么不进 topResults：本卡 topResults 用的是厂商自报 / 官方 Snorkel 这条模型级 lane（保持跨轮可比），而 Wonder Full / Wonder / Haiku 5.5 / Mistral Large 4 这四条都只有 Vals 统一 lane 的值，没有官方 lane 或厂商同口径值。把 58.08% 插进去会让它排在 57.4%（Argon，官方 lane）之上，制造一条”Meta 强于 Google”的伪结论。按本卡一贯做法：换 lane 的值一律只进正文，并在正文写明「读谁更强以统一 lane 全表为准」。

• ⭐ 2026-10-12 更新：Vals AI 2026-10-07 快照把本榜扩到 30 个系统，并首次公开分域冠军与成本对照——这两块信息比分数本身更有价值。 先说分数侧的变化：Vals 的 mini-SWE-agent + avg@3 统一 lane 上，头三名与 2026-10-01 快照完全同值（Opus 5.5 65.15% / Sonnet 5.5 64.14% / Astra 59.60%），说明这两周内没有新系统挤进前排；但回退计数全部变了——Opus 5.5 从 30/198 次降到 22/198，Sonnet 5.5 记 4/198（由 Sonnet 5 代跑），Fable 5 记 42/198（由 Opus 4.8 代跑），Fable 5.1 记 22/198，Opus 5 记 1/198。剔除后：Opus 5.5 58.08%（落到 Sonnet 5.5 与 Astra 之后）、Sonnet 5.5 62.63%、Fable 5.1 50.00%、Fable 5 33.84%、Opus 5 53.03%。⚠️ 卡内现有五条剔除值与 10-07 快照逐条对得上（Opus 5.5 58.08 / Sonnet 5.5 62.63 / Fable 5.1 50.00 / Fable 5 33.84 / Opus 5 53.03），可确认同 lane；此前 2026-10-06 那轮曾把 Opus 5 的 53.03% 误记在 Sonnet 5.5 头上，当时已更正。每次引用 Vals 数值都要带抓取日期，并在下一轮先做”旧值对得上吗”这一步。 真正的新信息是分域与成本两块： ① 分域冠军彼此完全不同，榜单总分掩盖了能力形状。 Opus 5.5 在科学域 71.43%（领先 Fable 5.1 达 14pp）、与 Sonnet 5.5 在 ML 域并列 81.82%，但在运维域只有 29.63%——而运维域的领先者是 Sonnet 5.5 的 51.85%（同代中端反超旗舰 22.2pp）；软件域只有 Astra 一家过 60%（61.11%）。安全域是最容易的：Opus 5 与 Opus 5.5 双双 100%。硬件域是全榜最难的：30 个模型里 16 个得 0 分，全场均值仅 15.1%。 ② 成本与分数基本脱钩。 Astra 第三名 $9.58/任务，比第一名 Opus 5.5（$13.20）和第二名 Sonnet 5.5（$16.51）都便宜；Fable 5 是全场最贵的一跑——$30.34 换 41.41%。低端有 MiMo V2.6 Pro 用 $0.50/任务 拿 31.31%（但它是全场第二慢的一跑）。⚠️ 8 小时 agent 阶段是计费的，一个不收敛但一直干活的模型会被一直收费——这是本榜成本数字里最容易被误读的部分。 ③ 拥挤度。 30 个系统里只有 11 个过 30%，头名也有约三分之一任务失败。

• 2026-10-12 补两条新系统（均不进 topResults）：Claude Haiku 5.5 报 39.2%（Anthropic 2026-10-07 system card，vendor 自报），前代 Haiku 4.5 是 0.0%——小模型在这个基准上从”完全不能做”跳到”接近四成”是一次真实的代际跃迁，但比 Sonnet 5.5 的 70.6% 仍差 31.4pp，Anthropic 自己也写明复杂 agentic coding 仍应选 Sonnet/Opus。Mistral Large 4（2026-10-06 发布，1.05T 总参 / 49B 激活）有两个互斥值：Mistral 自报 28.3%、Vals AI 独立跑 22.73%±0.88，差 5.6pp 未决（Vals 口径为 high reasoning，Mistral 自报未标注 harness）。两条都低于本榜第八名的 44.5%，所以只记正文。

• 2026-10-08 更新：官方 tbench.ai 首次给出「Agent + 模型」粒度的完整榜（2026-10-06 快照，每条 330 次试验），本轮只进正文、不动 topResults。 全表如下：

  Agent + 模型（档位）	解决率	每任务成本
  Claude Code + Opus 5.5 (max)	64.8%	$14.30
  Claude Code + Sonnet 5.5 (max)	61.8%	$22.22
  Codex + GPT-6 Astra (max)	58.2%	$9.90
  Codex + GPT-6.1 Sol (max)	58.2%	$1.92
  Claude Code + Fable 5.1 (max)	57.9%	$18.92
  Codex + GPT-6 Astra (xhigh / high)	57.9%	$7.12 / $6.88
  Claude Code + Fable 5.1 (high)	54.5%	–
  Claude Code + Opus 5 (xhigh)	53.9%	–
  Codex + GPT-6 Sol (max)	49.4%	–
  Claude Code + GLM-5.3 (max)	41.8%	–
  Grok Build + Grok 4.7 (xhigh)	37.6%	–
  Codex + GPT-5.6 Sol (max)	37.3%	–

  四条读法：① 这是官方第一次把「脚手架」写进榜单主键——本卡 topResults 用的是模型级 lane（vendor 自报 / 官方 Snorkel / Vals / AA），与这张表不是同一个量，因此本轮不并入 topResults，否则 64.8% 会插到 70.6% 与 66.4% 之间制造错误排序。② 成本与分数几乎脱钩：GPT-6.1 Sol 用 $1.92 拿到与 Astra 完全相同的 58.2%，而 Astra 花 $9.90（5.2 倍）；Sonnet 5.5 的 $22.22 比头名 Opus 5.5 的 $14.30 还贵 55%，分数却低 3.0pp。③ 推理档位买不到分：Codex + Astra 在 high / xhigh / max 三档上分别是 57.9% / 57.9% / 58.2%，花 $6.88 → $9.90 只买到 0.3pp；Claude Code + Fable 5.1 在 xhigh（$14.76）与 max（$18.92）上同为 57.9%。这与本卡在 Vals AI 统一 lane 上观察到的规律一致，但这次是官方榜自己给出的。④ Grok 4.7 的 37.6% 是本表最低的一档，与它在 Terminal-Bench 2.1 上带 −9.0% hacks 罚分的 79.3% 形成极强反差——同一家厂商的模型在 2.1 与 4.0 上的落差超过 40pp，再次印证 4.0 与 2.x 不可比。 另记两条官方侧的完整性机制（tbench.ai 的 integrity update）：任务执行与判分在隔离环境中分别运行，验证器文件与状态受限，维护者在发布前用对抗 Agent 逐一搜寻判分漏洞；任何「从网上抄答案」或「直接写判分信号」的试验一律重新计 0，直接篡改基准的提交则整条移除。已公开的实操案例是 ForgeCode——它在每次运行开头建一个 AGENTS.md，多次试验里直接把任务的解 curl 进该文件，这些试验全部归零。

• 2026-10-05 补录：Vals AI 把本榜扩到 43 个系统、统一用 mini-SWE-agent + avg@3 重跑，是目前唯一一条口径完全对齐的独立曲线；同时纠正了本卡此前的一处归属错误。 完整方法：mini-swe-agent（只给 bash 一个工具、无步数与成本上限）、每模型跑完整榜三次、每次按 pass@1 计分、显示值为三次均值（误差棒为三次间的标准误）、Daytona 隔离沙箱、每任务 8 小时 Agent 时限、无部分得分。统一 lane 后的前 15 名（全部 mini-SWE-agent）：

  #	模型	分数	每任务成本	耗时
  1	Claude Opus 5.5	65.15%	$13.20	1h04m
  2	Claude Sonnet 5.5	64.14% ±1.01	$16.51	1h22m
  3	GPT-6 Astra	59.60% ±4.40	$9.58	35m42s
  4	Claude Fable 5.1	58.08% ±3.31	$17.18	1h00m
  5	Gemini 4 Argon	57.58% ±2.31	$17.64	53m35s
  6	GPT-6.1 Sol	55.05% ±1.82	$1.72	45m12s
  7	Claude Opus 5	53.53% ±1.34	$18.60	1h07m
  8	GPT-6 Sol	44.44% ±3.54	$5.79	34m56s
  9	Claude Fable 5	41.41% ±1.34	$30.34	1h08m
  10	GLM 5.3	38.89% ±1.82	$9.37	1h23m
  11	GPT-5.6 Sol	37.88%	$7.98	33m46s
  12	Qwen 3.8 Max	34.34% ±3.94	$10.63	2h28m
  13	Step 5 Preview	31.82% ±2.62	$3.11	1h58m
  14	MiMo V2.6 Pro	31.31% ±3.07	$0.50	2h42m
  15	Grok 4.7	28.79% ±2.31	$18.09	50m21s

  五条读法：① 统一 lane 后 Opus 5.5 反超 Sonnet 5.5（65.15 vs 64.14，差 1.01pp），与厂商自报口径（Sonnet 70.6 > Opus 66.4）方向相反——“中端反超旗舰”这条结论在统一 harness 下被推翻，此前 AA 的 63.6 / 59.6 是唯一支持它的独立曲线，现在变成 2:1 反对。本卡 topResults 仍保留厂商/官方 lane（保持跨轮可比），但读”谁更强”时应以本表为准。② 成本与分数几乎解耦：Astra 第三名只要 $9.58/任务，比第一的 Opus 5.5（$13.20）和第二的 Sonnet 5.5（$16.51）都便宜；Fable 5 用全场最贵的 $30.34 只拿到 41.41%；MiMo V2.6 Pro 用 $0.50 拿到 31.31%，高于 Qwen 3.8 Max 的 $10.63 拿 34.34% 之外的多款中端。③ GPT-6.1 Sol 是本次最大性价比条目：55.05% 排第六，$1.72/任务，是前七名里唯一低于 $2 的，比 Astra 便宜 5.6 倍而只低 4.55pp。④ 43 个系统里只有 11 个过 30%，硬件是最难的域——30 个模型里有 16 个在硬件上拿 0，全场均值仅 15.1%；而安全域头部模型（Opus 5、Opus 5.5）双双满分。⑤ 分域冠军各不相同：Opus 5.5 科学 71.43%（领先 Fable 5.1 达 14pp）、与 Sonnet 5.5 在 ML 上并列 81.82%，但在运维域掉到 29.63%，该域由 Sonnet 5.5 的 51.85% 领先；Astra 是唯一在 software 域过 60% 的模型（61.11%）。

• 🔴 归属更正（2026-10-05）：本卡此前把 53.03% 记作 Sonnet 5.5 的 Vals 独立跑值，属误记。Vals 2026-10-01 页面明确：53.03% 是 Claude Opus 5 剔除 1/198 次厂商侧回退后的值（原始 53.53%）；Sonnet 5.5 的 Vals 值是 64.14%（剔除 4/198 次由 Claude Sonnet 5 代跑后 62.63%）。同时 Opus 5.5 的 Vals 值已从 09-26 的 61.62% 上修至 65.15%，剔除回退后的值也从 53.54% 上修至 58.08%（22/198 次由 Opus 5 或 Opus 4.8 代跑）。五条 Anthropic 记录全部含厂商侧回退，剔除后：Opus 5.5 65.15→58.08、Sonnet 5.5 64.14→62.63、Fable 5.1 58.08→50.00、Fable 5 41.41→33.84、Opus 5 53.53→53.03。剔除后 Sonnet 5.5 反超 Opus 5.5（62.63 vs 58.08），“谁第一”随是否计回退而翻转两次——这与 Terminal-Bench 4.0 之外观察到的同权重双品牌、双脚手架同族，属第四种”同一模型两个分数”的机制。

• 2026-10-01：Artificial Analysis 的独立实现 lane 首次覆盖 Sonnet 5.5 与 Opus 5.5，两条数与厂商自报的差都很大且方向一致——AA 用 max effort + mini-swe-agent + 每任务三次重复，给出 Sonnet 5.5 63.6% / Opus 5.5 59.6%；Anthropic 自报是 70.6% / 66.4%。Opus 5.5 的 vendor↔AA 差达到 6.8pp，是本卡迄今记录到的最大单模型跨 lane 落差，超过此前 Vals 独立跑（61.62%）与自报（66.4%）的 4.8pp。三点读法：① 两条独立曲线都把 Sonnet 5.5 排在 Opus 5.5 之上（AA 63.6 vs 59.6、Vals 53.03 vs 53.54 则相反），“中端反超旗舰”的结论在官方 lane 之外仍未被证伪，但也未被确证；② AA 的 59.6% 与 Vals 剔除回退后的 53.54% 相差 6.1pp，说明两家”独立评测”之间的差，可以比独立评测与厂商自报之间的差还大——本榜现在同时存在三条曲线（官方 Snorkel / AA / Vals），任何不带 lane 标注的百分比都不可比；③ ⚠️ AA 该 lane 快照读取于 2026-10-01，与官方榜刷新节奏不同步，本卡把 AA 值写进 model 注记而非单列条目，避免与官方值混排

• 2026-09-30：Gemini 4 Argon 报 57.4%，是本卡第一条 Google 系 2026 年条目，落在 Astra（58.2%）之后、Fable 5.1 自报值（55.8%）之前。三个读法：① Argon 在官方 lane 的等价位置被验证过——Google 同期对照表里 Astra 是 58.2%、Opus 5.5 是 66.4%，与本卡记录的官方值 / 厂商值逐字一致，因此 57.4% 可以放进 topResults；② 它把 GLM-5.3（41.8%，开源权重最佳）挤出前八，这不是能力变化而是榜单拥挤度变化——本榜 2026-09 一个月内新增了 Sonnet 5.5、Argon 两条 55%+ 条目，挤出的却是最强开源条目，读榜单时”名次下降”与”能力下降”要分开看；③ 结合同期 Terminal-Bench Science 0.1（57.6%，落后 Astra 10.5pp）与 ALE（39.5%，领先），Argon 在终端类赛道上稳定落后、在文档型职业工作流上稳定领先，这个形状跨三个基准一致

• 2026-08：Terminal-Bench 4.0 发布，任务从 74 削减至 66（移除 8、修订 20、新增 0），Harbor 将其定性为维护版本而非新任务集。配套博客《Terminal-Bench 4.0: Why Continuous Benchmarks Require Continuous QA》阐述了持续 QA 的必要性。

• 2026-09-01：Claude Fable 5.1 发布，以 57.9% 登顶，成为首个在滚动任务集上突破 55% 的模型。

• 2026-09-03：GPT-6 Astra 以 58.2% 反超，同时把 token 消耗压到 1.5B（约为第二名的 55%），重新定义榜首的效率基准。

• 2026-09-14 补录：Anthropic 的 Fable 5.1 / Mythos 5.1 system card 给出了本榜目前最高的一个数字——Mythos 5.1 60.9%。但读这个数字必须带上三条例注：① Mythos 5.1 与 Fable 5.1 是同一套权重，差别只在 safeguard 层；Fable 5.1 跑生产 safeguard cyber/biology 分类器，一旦触发就把任务转交给 Opus 4.8（cyber）或 Opus 5（biology），被干预的任务直接计零。所以 60.9% 与 55.8% 之间的 5.1pp 是”安全带税”，不是模型差距。② 两家的口径本身就有落差：Anthropic 自测 Fable 5.1 是 55.8%，官方 Snorkel 榜（Claude Code / max）给的是 57.9%，差 2.1pp，属于 harness 与 effort 配置差异。按这个偏移量推，Mythos 5.1 上到公开榜大概率也在 60% 以上，即在 GPT-6 Astra（58.2%）之前。③ Mythos 5.1 是邀请制、当前仅限部分美国机构，不会进公开榜，因此这条更像一条”能力上限标注”而非可复现的榜首。

• 2026-09-15：Artificial Analysis 上线自己的 Terminal-Bench 4.0 独立实现（AA Terminal-Bench 4.0），15 个模型的完整榜首次可读。这是继官方 Snorkel 榜之后的第二条曲线，也是 Intelligence Index v4.3 的十个组件之一（目前为 display-only，不进加权）。完整表（AA 自定 harness，与官方 Claude Code / Codex 口径不同）：

三条值得单独记的观察。① 榜首换人：官方榜第一是 Mythos 5.1（60.9%，且不会上公开榜），可复现的头名是 Astra 58.2%；AA 榜上 Astra 59.1% 是唯一第一，且比第二名 Fable 5.1 高出 7.1pp——AA 的独立实现把 Astra 的领先放大了，而不是抹平。② 离散度极大且与官方榜方向不定：GPT-5.6 Terra 在 AA 上 35.4%、在官方榜只有 21.5%，差 13.9pp；GPT-5.6 Luna 反过来（AA 11.6% vs 官方 17.3%）。这再次印证本卡一贯的结论——不标注 harness 的百分比不可比，而且这次换的是”别人家统一 harness”，不是厂商自选脚手架。③ AA 榜把一些官方榜没有的模型拉了进来：Muse Spark 1.3（33.3%）、GLM-5.3-Flash（32.8%）、DeepSeek V4.1 Flash（26.8%）、DeepSeek V4 Pro 0813（14.1%）、Kimi K3（12.6%）。其中 DeepSeek V4 Pro 0813 的 14.1% 是最刺眼的一个——它在 SWE-bench Verified 上以 96.4% 排到全球第二（Vals AI mini-SWE-agent），在 AA Terminal-Bench 4.0 上却只有 14.1%，落后 Astra 45pp。编码基准的头部成绩不能外推到终端 Agent 场景。

• 2026-09-22：Claude Opus 5.5 发布，把 Terminal-Bench 4.0 的头名从 60.9% 一次性推到 66.4%。这是本榜 2026 年下半年最大的一次单点跃迁（+5.5pp，超过此前 Astra 58.2% → Mythos 60.9% 的 2.7pp）。Anthropic 给出的对照表（同为 extra-high / with-tools 口径）：

读这条要带两条例注。① 66.4% 是 Anthropic 自报值，且口径为 “extra-high with tools”，与官方 Snorkel 榜的 Claude Code / max 口径不同；按本卡一直在记的规律（Anthropic 自测 Fable 5.1 = 55.8%，官方榜 57.9%，差 2.1pp；GPT-6 Astra 官方榜 58.2% vs OpenAI 自报 57.9%），Opus 5.5 上到公开榜大概率也在 66% 以上，但在它真正出现在 Snorkel 榜或 AA 独立实现榜之前，66.4% 只能当厂商数字用。② 这是 Claude Opus 系列首次在编码类基准上全线登顶（同批还有 CursorBench 4.0 57.8%、FrontierCode v1.1 54.4%），此前 Opus 线长期落后于同代 Fable 线 3–5pp——Opus 5.5 的定位不是”比 Fable 更强”，而是”用 40% 更低的成本做到 Fable 5.1 的水平”，所以这 66.4% 更像是把”Fable 的性能”和”Opus 的成本”合并到一条产品线上。

• 🔴 2026-09-28：Claude Sonnet 5.5 发布，以 70.6%（Anthropic 自报，xhigh）成为本榜第一个越过 70% 的模型，也是第一个反超同代旗舰的中端模型。这是本卡记录过的最大一次单点跃迁，而且跃迁的形状和以往都不同：

四条必须带上的例注。① Sonnet 5 → Sonnet 5.5 是 +60.3pp，这是本卡（乃至整个 Terminal-Bench 谱系）有记录以来单代际的最大涨幅。前代 Sonnet 5 在 4.0 上只有 10.3%——不是”略弱”，而是几乎完全跑不动长程终端任务；一代之间从中端不可用变成全榜第一，这条曲线本身就是”中端模型能力边界在半年内被重画”的证据。② 价格没有涨：Sonnet 5.5 沿用 Sonnet 5 的 $2/$10 每百万 token 定价，是 Opus 5.5（$4/$20）的一半，而 Anthropic 称每任务成本还能再降最多 30%（靠减少 token、工具调用与步数，而非降价）。也就是说榜首这件事是用一半的标价单价拿到的。③ 70.6% 是厂商自报的 xhigh 值，官方 Snorkel 榜截至 2026-10-01 尚未收录 Sonnet 5.5。按本卡一直在记的规律（Anthropic 自测 Fable 5.1 = 55.8%，官方榜 57.9%，差 2.1pp；Vals 独立跑普遍低于自报），70.6% 在上官方榜之前只能当厂商数字用。④ Vals AI 独立跑给的 Sonnet 5.5 是 53.03%（第三名，落后 Opus 5.5 的 61.62% 8.6pp），与自报差 17.6pp——这是本榜目前自报与独立跑之间最大的一处落差，再次说明这两条 lane 不能互相校验（Vals 该页总计 37 个模型，其中 18 个为 latest/top/frontier 视图；GPT-6 Sol 34.34% 是唯一另一个越过 30% 的模型，其余 31 个分布在 28.28% 到 0.00%，15 个 ≤10%）。

• ⚠️ 同一份 Vals 页面上还有两条值得单独记的：其一，Vals 把”19 个模型在 hardware 得 0 分、17 个在 media 得 0 分”（共 37 个模型）作为全榜最难的两个域，hardware 与 operations 的均值最低（12.8% / 13.4%）；其二，Vals 明确写出 Sonnet 5.5 每任务 $19.33，反而略高于 Opus 5.5 的 $19.07 且分数更低——“每任务成本”与”标价单价”在这里方向相反，因为 8 小时 agent 阶段内不收敛的模型会被持续计费。

• 关键趋势：Terminal-Bench 4.0 用”主动淘汰饱和任务”的方式抵抗饱和——这与 SWE-bench 家族靠季度轮换换题、DeepSWE 靠零污染取题是三条不同的抗污染路径。4.0 的做法代价最小（不需要持续造新题），但要求维护方有勇气公开承认”这批题已经刷不动了”。

• 2026-09-21/22：Grok 4.7 入榜，Vals AI 开出 Terminal-Bench 4.0 独立跑 lane，两条新证据同时指向”厂商自报值系统性偏高”。① xAI 的 Grok 4.7（2026-09-21）以 37.6%±3.5（xhigh, Grok Build, $3.7k）首次进入官方 Snorkel 榜第 6 位，把 GPT-5.6 Sol（37.3%）挤出前八——两者相差 0.3pp，远小于各自的 ±3.5 误差带，这次换位是统计噪声意义上的并列，不是能力反超。② 同日 Vals AI 上线 Terminal-Bench 4.0 独立跑榜（32 模型）：Opus 5.5 61.62% / Astra 57.07% / Fable 5.1 49.49% / Opus 5 45.45% / Grok 4.7 28.28% / GPT-5.6 Sol 27.78%。Vals 的全部数值都低于厂商自报（Opus 5.5 61.62% vs 66.4%、Astra 57.07% vs 58.2%），方向与 09-19 记下的”Vals 极简 harness 给 Opus 5 的 SWE-bench Verified 97.00% 高于 vendor 96.0%“相反——再次印证”独立评测必然低于自报”不成立，方向要逐次判。

• 🔴 2026-09-22：Vals AI 披露厂商侧回退（provider-side fallback），Opus 5.5 的 61.62% 里有 30/198 次任务尝试实际由 Opus 5 或 Opus 4.8 代跑。把这些尝试计为失败后，Opus 5.5 从 61.62% 降到 53.54%，落到 Astra（57.07%）之后。同一现象出现在另外三条 Anthropic 记录上：Fable 5.1 有 28/198 次由 Opus 5 代跑（单看被请求模型只有 42.42%，比 49.49% 低 7pp）；Claude Fable 5 有 51 次由 Opus 4.8 代跑（单独只有 16.67%）；Opus 5 有 1 次由 Opus 4.8 代跑（分数不变）。另有厂商拒答被计为失败（Qwen 3.8 Max 21 次、GPT-5.6 Sol 与 Claude Sonnet 5 各 7 次）。这是继”同权重双品牌”（Fable/Mythos）、“同权重双脚手架”（ARC-AGI-3 Standard/Adapter）之后，第三种让同一模型出现两个分数的机制：服务侧静默降级。 判据通用：看到一个”新 SOTA”，先问这次跑分里有多少次任务是被别的更小的模型代跑的。

• 2026-09-22 补充：Opus 5.5 在 Vals 的 7 个分域里 6 项领先或并列——ML 78.79%（次名 Opus 5 63.64%）、operations 48.15%，与 Astra 并列 media（75.00%）、hardware（73.33%）、science（57.14%）；Astra 只在 software（55.56%）守住单项第一；security 则由 Fable 5.1 与 Opus 5 以 73.33% 并列居首，高于 Opus 5.5 的 66.67% 与 Astra 的 53.33%。hardware 与 media 是全榜最难的域：31 个模型里有 17 个在这两域得 0 分。 另注：Vals 榜上”花钱买不到分”再次成立——GLM 5.3 Flash 以 $0.65/任务拿 19.70%，高于 Claude Sonnet 5（8.08%, $21.37）与 Opus 4.8（16.16%, $28.31），Astra 反而是前沿里较便宜的一档（$8.21/任务）。

局限性与展望

• 跨 harness 不可比：榜上同时存在 Claude Code、Codex、Grok Build、mini-SWE-agent 四种脚手架，且 effort 档位（max/high）由各 harness 自行定义。58.2%（Codex）与 57.9%（Claude Code）的对比严格说不成立。
• 66 个任务的统计精度有限：±2.8 到 ±3.8 的误差带意味着 5pp 以内的排名变动基本不可分辨。榜单自身也标注了 run-to-run 方差，但很多二手引用会省略这个 margin。
• 只减不增的可持续性问题：4.0 本轮”新增 0 个任务”。如果持续只淘汰不补充，任务集会单调萎缩。滚动机制要在长期成立，需要社区持续供题，而这依赖贡献激励。
• 子域细分未随版更新：Harbor 尚未发布 v4.0.0 专属的 subdomain 细分，7 域 31 子域的分类仍是 3.0 的遗产——移除 8 个任务后各子域的覆盖度可能已不均匀。

关联基准

• Terminal-Bench 2.0/2.1：前代静态任务集，已接近饱和
• Frontier-Bench v0.1：3.0 滚动集的旧品牌，已并入 Terminal-Bench 谱系
• SWE-bench Pro：同为仓库级软件工程，但走季度轮换抗污染路线
• SWE-Bench Pro Verified：从”封堵奖励黑客”角度做可信化
• OSWorld 2.0：GUI 侧的计算机使用评测