为什么重要
Terminal-Bench 3.0 是这条谱系上任务难度跨度最大的一次代际跃迁。它的头名只有 42.7%，而上一代 Terminal-Bench 2.1 的头名（GPT-6 Astra，high, Codex）是 87.4%——同样的”终端 Agent”标签，两代之间差了 45 个百分点。
这个落差不是模型退步，而是任务集被整体换掉了。2.1 时代任务已经压到 Top 4 相差不到 4pp 的水平，基本失去分辨力；3.0 的目标就是重新拉开差距，而它做到了：第一名 42.7% 与第八名 18.6% 之间仍有 24pp 的间距，且除第一名外的前四名全部落在 8.2pp 的窄带内——既有头部区分度，也有中段密度。
3.0 同时引入了两件对后续版本影响深远的机制：
- 滚动任务集（rolling task set）——任务集不再是一次发布后固定，而是随模型能力演进持续修订。
- 七段式对抗性评审流水线——每个任务在计入排行榜前必须穿过静态检查、35 条 rubric、Docker/Oracle/No-op 三重验证、维护者评审、多 Agent 试跑与对抗性”作弊”探测、以及 hacker–fixer 加固循环。
品牌沿革：它一度叫 Frontier-Bench
这是本基准最容易踩的事实坑。Terminal-Bench 3.0 的 v0.1 任务集最初以 “Frontier-Bench” 品牌发布，Snorkel 官方页的 FAQ 区至今仍留有 “Terminal-Bench 3.0 (formerly Frontier-Bench)” 的表述。
后果是 2026 年 7 月的许多资料把两者当作两个独立基准，实际上它们是同一套任务集的先后品牌。因此：
- Frontier-Bench v0.1 时期的分数（如 Opus 5 的 43.3%–44.4%）与 3.0 官方榜的 42.7% 属于同一任务集的不同快照，可比但要注意快照时点。
- 3.0 与 4.0（66 个任务）之间的分数不可比——4.0 移除 8 个任务、修订 20 个、新增 0 个，任务集已换过一轮。
- 本库 Frontier-Bench 与 Terminal-Bench 4.0 两张卡分别记录了这条谱系的旧品牌与后代版本。
构建方式
七段评审流水线
官方对流水线的描述是”designed to catch broken tasks and reward-hacking before they ever reach the leaderboard”。逐段如下：
| 段 | 名称 | 做什么 |
|---|---|---|
| 01 | Static checks | Canary 标记、Dockerfile 健全性、路径与元数据校验——不需要任何 API key |
| 02 | Rubric review | 由一个 Agent 按 35 条标准给任务打分：可验证、可解、够难、抗作弊 |
| 03 | Docker / Oracle / No-op | 环境能构建；参考解能通过；什么都不做必须失败 |
| 04 | Maintainer review | 所有自动关卡通过后由维护者人工复核 |
| 05 | Agent & cheat trials | 多个 Agent 试跑；对抗性试验专门探测奖励黑客 |
| 06 | Hacker–fixer loop | 对抗循环迭代加固任务，直到堵住已知利用方式 |
| 07 | Merged | 计入排行榜 |
其中 No-op 检查（什么都不做必须失败） 是最容易被忽略却最关键的一环。它直接排除了”环境本身已经是目标状态”这类假任务——这类任务在只看通过率的排行榜上会变成任何人都能拿到的免费分。
领域分类：7 域 31 子域
任务按它主要考察的技能归类，而不是按它顺带用到的工具。领域列表是封闭的（domain list is closed），子域则随新任务加入而增长。
| 领域 | 定位 | 子域 |
|---|---|---|
| Science | 自然科学与工程 | Biology, Chemistry, Physics, Earth, Robotics, Math, Linguistics（7） |
| Software | 通用软件工程 | Algorithms, Systems, Databases, Data engineering, Frontend, Languages（6） |
| ML | 训练、服务与评测 | Training, Inference, Evaluation, Kernels（4） |
| Operations | 商业与金融推理 | Finance, Logistics, Supply chain, Claims, Compliance, Marketing（6） |
| Security | 攻防安全 | Cryptography, Reverse engineering, Forensics, AppSec（4） |
| Hardware | 物理与数字硬件 | CAD, RTL（2） |
| Media | 创意与设计 | Music, Design（2） |
子域计数加和为 7+6+4+6+4+2+2 = 31，与官方口径一致。
官方公布的样题能说明难度水位，例如 Shadow Relay（Security）：要求从原始抓包中逆向出一次网络外泄，一路解到解密后的载荷，中途要攻破一个域名生成算法和一个自定义二进制会话协议。这类任务的共同点是必须把多个中间推论串成链条，任何一环断掉就拿不到分。
完整排行榜（2026-10-01 读取官方 Snorkel 榜）
| 排名 | 模型 | Effort | Agent | Resolution Rate | 发布日 | Tokens | Cost |
|---|---|---|---|---|---|---|---|
| 1 | Opus 5 | max | mini-SWE-agent | 42.7% ±1.6 | 2026-07-24 | 7.3B | $5.8k |
| 2 | GPT-5.6 Sol | max | Codex | 34.6% ±1.6 | 2026-07-09 | 5.8B | $4.0k |
| 3 | Fable 5 | max | Claude Code | 34.1% ±1.7 | 2026-06-09 | 3.6B | $6.5k |
| 4 | GLM 5.3 | max | Claude Code | 32.4% ±1.5 | 2026-08-14 | 5.6B | $1.8k |
| 5 | Grok 4.6 | high | Grok Build | 26.5% ±1.5 | 2026-08-12 | 2.9B | $2.1k |
| 6 | Opus 4.8 | max | Claude Code | 21.1% ±1.6 | 2026-05-28 | 5.2B | $5.2k |
| 7 | GPT-5.6 Terra | max | Codex | 20.8% ±1.4 | 2026-07-09 | 7.0B | $2.5k |
| 8 | SWE-1.7 Lightning | — | Devin | 18.6% ±1.5 | 2026-07-08 | 3.6B | $7.2k |
| 9 | Grok 4.5 | xhigh | Cursor CLI | 15.7% ±1.5 | 2026-07-08 | 1.2B | $766 |
| 10 | Sonnet 5 | max | Claude Code | 14.6% ±1.5 | 2026-06-30 | 17.9B | $6.9k |
| 11 | GPT-5.6 Luna | max | Codex | 14.3% ±1.3 | 2026-07-09 | 11.9B | $1.6k |
| 12 | GLM 5.2 | max | Claude Code | 4.6% ±1.0 | 2026-06-13 | 3.3B | $3.4k |
Tokens 与 Cost 是跑完整套 74 个任务的总量，未按 effort 档位归一化。榜上的 max / high / xhigh 是各 harness（Claude Code、Codex、Grok Build、Cursor CLI、mini-SWE-agent）自身的力度控制，不是 Terminal-Bench 的参数。
关键发现
1. 头名领先 8.1pp，是这条谱系上少见的大幅领先。 Opus 5 的 42.7% 对第二名 GPT-5.6 Sol 的 34.6%，差距远超 ±1.6 的误差带，属于可分辨的真实差距。作为对照，4.0 榜上第一名与第二名只差 0.3pp——3.0 的头部区分度反而比 4.0 更好。
2. 官方”概览”数字与榜本身已经脱节，不要混用。 Snorkel 页面 At a glance 区写着”~34% best model’s pass rate on v0.1, vs. ~5% for the best open-weight model”。但榜上开源权重的 GLM 5.3 已经是 32.4%，不是 5%。这两个数字是 v0.1 发布时的快照（当时开源最佳确实接近 5%，对应榜上 GLM 5.2 的 4.6%），此后未随榜更新。引用”5%“时必须带上”2026-07 快照”的时点，否则会严重低估开源模型。
3. 开源权重在这一代完成了从 4.6% 到 32.4% 的跨越。 GLM 5.2（2026-06-13）4.6%，GLM 5.3（2026-08-14）32.4%——一次代际更新涨 27.8pp，且只花 $1.8k，是 Top 4 里最便宜的。这是 3.0 榜上最陡的一条曲线，也让”闭源 vs 开源”的差距从上代的数十个百分点压缩到 10.3pp（42.7% vs 32.4%）。
4. Sonnet 5 的性价比崩塌在 3.0 上就已经出现。 17.9B tokens、766 拿到 15.7%，比 Sonnet 5 高 1.1pp 且便宜 9 倍。长程终端任务里”多想一会儿”不等于”推进有效”，token 消耗与得分在本榜上不相关。
5. 成本离散度达 9 倍以上，且与排名无关。 第 8 名 SWE-1.7 Lightning 花 766。第 4 名 GLM 5.3 是 Top 4 里唯一低于 $2k 的。
6. 同一个模型换 harness 会换出不同的数。 值得记一笔：第三方镜像站给 GLM 5.3 记的是 28.3%（mini-SWE-agent），官方榜给的是 32.4%（Claude Code），差 4.1pp；Fable 5 在官方榜是 34.1%，镜像站记 34.0%。本卡 topResults 一律取官方 Snorkel 榜口径。
最新进展
- 2026-07：v0.1 任务集以 Frontier-Bench 品牌发布，初始 74 个任务，引入滚动任务集机制与对抗性评审流水线。
- 2026-08-12/14：Grok 4.6（26.5%）与 GLM 5.3（32.4%）先后入榜，开源权重首次进入前四。
- 2026-08-24：Snorkel 上线 Terminal-Bench 3.0 独立排行榜页，明确标注机构归属为 Harbor + Laude Institute（Ryan Marten、Alex Shaw、Andy Konwinski、Ludwig Schmidt 主导），Snorkel AI（Justin Bauer、Vincent Sunn Chen 主导）负责数据与研究贡献。
- 2026-08/09：Qwen3.8-Max-0902 以 29.0% 被第三方镜像站记录，标注为 self-reported（厂商自报，Claude Code 脚手架）。该条目不在官方 Snorkel 榜上，因此未计入本卡 topResults。若按官方口径复跑，它会落在第 4 名与第 5 名之间。
- 2026-08-15 后续：4.0 发布（66 个任务），3.0 任务集被修订。3.0 官方榜并未随之归档——截至 2026-10-01，Snorkel 仍把它列在 Open Benchmarks（在营） 区而非 Archived 区，与 Terminal-Bench 2.1（已归档）不同。这意味着 3.0 与 4.0 目前是两条并行可读的曲线，不是简单的替代关系。
局限性与展望
- 跨 harness 不可比：榜上并存 Claude Code、Codex、Grok Build、Cursor CLI、mini-SWE-agent 五种脚手架，effort 档位由各自定义。42.7%（mini-SWE-agent）与 34.1%（Claude Code）的严格对比不成立。
- 74 个任务的统计精度有限：±1.3 到 ±1.7 的误差带意味着 3pp 以内的排名变动基本不可分辨，第 2、3、4 名（34.6 / 34.1 / 32.4）应视为同一梯队。
- 概览数字未随榜更新：如前所述，At a glance 区的 34% / 5% 是 v0.1 快照，与榜上实际的 42.7% / 32.4% 脱节。这是引用本基准时最常见的错误来源。
- 子域覆盖可能不均匀：31 个子域分摊 74 个任务，平均每个子域 2.4 个任务；Hardware（2 子域）与 Media（2 子域）的覆盖度尤其薄。官方未公布分域得分，无法判断哪些域在拖累总分。
- 滚动机制的长期供题问题：3.0 引入滚动集后，4.0 本轮”新增 0 个任务”。若持续只淘汰不补充，任务集会单调萎缩，这条路能否长期成立取决于社区供题激励。
关联基准
- Terminal-Bench 4.0：同谱系后代版本，66 个任务，滚动淘汰饱和任务
- Frontier-Bench：3.0 任务集的旧品牌
- Terminal-Bench 2.0/2.1：前代静态任务集，已接近饱和并归档
- SWE-bench Pro：同为仓库级软件工程，走季度轮换抗污染路线
- OSWorld 2.0：GUI 侧的计算机使用评测