Terminal-Bench 2.0 2.0

为什么重要

Terminal-Bench 2.0 是首个专注于 AI Agent 在真实终端环境中执行软件工程任务的评测基准。相比于静态代码生成任务，Terminal-Bench 2.0 要求模型能够检查文件、运行命令、编辑代码、从错误中恢复——这些都是专业软件工程师的日常能力。

构建方式

1. 设计真实终端环境中的端到端任务
2. 涵盖：编译代码、训练模型、部署服务、系统管理、安全任务、数据科学工作流、网络安全漏洞检测
3. 评估模型在多步工作流中的自主决策和错误恢复能力
4. 支持多轮交互：模型需要根据命令输出调整下一步操作

任务示例

编译任务：“克隆这个 GitHub 仓库，解决依赖问题，编译成功并运行测试” 部署任务：“在服务器上部署一个 Flask 应用，配置 Nginx 反向代理” 数据科学：“运行数据分析脚本，处理缺失值，生成可视化报告”

最新进展

• 2026-08：Terminal-Bench 2.1 已退出主线——官方版本沿革显示 3.0（2026-07，74 任务）引入全新滚动任务集（原 Frontier-Bench 品牌），4.0（2026-08，66 任务）在 3.0 基础上移除 8 个饱和任务、修订 20 个。2.0/2.1 的 89 任务集属于”滚动机制引入前的旧 curated 集”，只修订不淘汰，因此分数被永久锁死在饱和区（Top 8 全部 83%+）。本页标记为 superseded，后续数据请以 Terminal-Bench 4.0 为准
• 关键对比：2.1 上 Fable 5.1 达 91.4%，4.0 上同模型仅 57.9%——同一模型在两代任务集上相差 33.5pp。这不是模型退步，而是 2.1 的旧任务集已被前沿模型刷满、4.0 换上了更难且淘汰过饱和题的新集
• 2026-06：Terminal-Bench 2.0 官方排行榜扩展至 20+ 系统（42 模型），llm-stats 数据显示 GPT-5.5 以 82.7% 领先
• 2026-06：Codesota verified 排行榜显示 Agent 脚手架效应显著——Codex/GPT-5.5 (82.0%) vs Simple Codex/GPT-5.3-Codex (75.1%)，同模型不同脚手架差距 7pp
• 2026-06：Gemini 3.5 Flash 以 76.2% 进入 Top 8，经济型模型在终端任务上持续追赶
• 2026-06：GLM-5.1 以 69.0% 成为开源最佳（llm-stats 排行 #9），Qwen3.7-Max 以 69.7% 超越 Claude Opus 4.6
• 2026-05-29：Claude Opus 4.8 系统卡公布 Terminal-Bench 2.1 数据——GPT-5.5 以 78.2% 反超 Opus 4.8 (74.6%)，罕见局部反例；Opus 4.7 仅 66.1%，Gemini 3.5 Flash 70.3%
• 2026-04-07：Claude Mythos Preview 以 82% 刷新 Terminal-Bench 2.0 纪录
• 关键发现：GPT 系列在终端/命令行任务上优势明显，可能与其 Codex 训练管线相关；Agent 脚手架是决定性因素（ForgeCode 框架下所有模型均提升 5-10pp）
• 2026-06-09：Claude Fable 5（suspended）发布并以 88.0% 登顶 Terminal-Bench 2.1（首个突破 85% 的模型），Anthropic 自报 Terminus-2 harness 下也达 80.4%，是当前唯一在两个 harness 上都领先的模型 71→- 2026-07-08：Grok 4.5（xAI，V9~1.5T）发布，Terminal-Bench 2.1 以 83.3% 位列第二，仅落后 GPT-5.5 83.4% 的 0.1pp——几乎并列；token 效率约为 Opus 4.8 的 4 倍，性价比极高 72→- 2026-07-06：腾讯混元 Hy3 正式版 Terminal-Bench 2.1 达 71.7%，开源模型（Apache 2.0）新标杆；API ¥1/1M tokens 使终端 Agent 任务成本降至前沿闭源模型的 1/20-1/25 73→- 2026-07-01：Fable 5 恢复全球访问，Terminal-Bench 2.1 88.0% 重新有效；Mythos 5 仍受限于 Project Glasswing 网络安全合作伙伴 74→- 关键趋势：Terminal-Bench 2.1 Top 4 已压缩至 4.7pp（Fable 5 88.0% / GPT-5.5 83.4% / Grok 4.5 83.3% / Opus 4.8 82.7%），Grok 4.5 以 1/5 价格 + 4× 效率进入性价比新战场；开源模型仍与闭源差 16.3pp（Hy3 71.7% vs Fable 5 88.0%），但 Hy3 以 Apache 2.0 开源 + ¥1/token 定价为开源社区设立了可复现基线
• 2026-06-13：GLM 5.2 发布，Terminal-Bench 2.1 达 81.0%（#4），MIT 协议，输出价格仅 $4.40/M tokens，是 Top 5 中唯一开源模型
• 2026-06-17：tbench.ai 官方排行榜更新，可购买的模型中 Codex CLI / GPT-5.5 (83.4%) vs Claude Code / Opus 4.8 (82.7%)，差距仅 0.7pp 属于测量噪声
• 2026-06-19：GPT-5.6 Sol preview 发布，Terminal-Bench 2.1 达 88.8%（Sol）、91.9%（Sol Ultra），OpenAI 反超 Anthropic 重新占据终端任务 SOTA
• 2026-06-19：Mythos 5 在受限环境下报 Terminal-Bench 2.1 达 84.3%，Sol 84.3% 持平，但 Sol 仅 $30 vs Mythos 5$50
• 2026-06：DevThrottle 独立验证排行榜显示，Codex CLI + GPT-5.5 83.4% ± 2.2、Claude Code + Fable 5 83.1% ± 2.0、Terminus 2 + Fable 5 80.4% ± 2.3，95% 置信区间下前三名重叠
• 2026-06：Fable 5 全球下架（美国出口管制），Terminal-Bench 2.1 排名第一的模型无法访问，实际可购买的 SOTA 是 Codex CLI / GPT-5.5
• 2026-07-09：Artificial Analysis 发布 GPT-5.6 Sol 独立验证数据——统一 Terminus 2 harness 下 Sol 得分低于 OpenAI vendor 自报，但具体数值未公开。关键发现：Fable 5 在统一 harness 下为 84.6%（vs vendor 自报 88.0%，差距 3.4pp），vendor 自报分数系统性偏高
• 2026-07-16：Kimi K3（Moonshot AI, 2.8T MoE）以 88.3% 进入 Terminal-Bench 2.0 Top 3，仅落后 Sol Ultra 3.6pp，超越 Fable 5 (88.0%) 和 Terra (87.4%)
• 关键趋势：Terminal-Bench 2.0/2.1 Top 4 已进入 3.6pp 压缩区间（Sol Ultra 91.9% → Kimi K3 88.3%），基准接近饱和；独立验证 vs vendor 自报的差距（3-4pp）在饱和区间内足以改变排名，强调统一 harness 评测的必要性
• 2026-07-09：GPT-5.6 Sol/Terra/Luna 全量 GA 发布——Sol Ultra 以 91.9% 创下 Terminal-Bench 2.1 新 SOTA（首破 90%），Sol 以 88.8% 超越 Fable 5（88.0%）；OpenAI 在终端 Agent 任务上全面反超 Anthropic；Sol Ultra 的 4 并行 Agent 架构（Ultra Mode）额外贡献 3.1pp；定价 $5/$30（Sol）vs Fable 5 $10/$50，Sol 以半价实现更强性能
• 关键趋势：Terminal-Bench 2.1 Top 3 压缩至 3.9pp（Sol Ultra 91.9% / Sol 88.8% / Fable 5 88.0%），基准进入接近饱和阶段；GPT-5.6 Sol 在价格/性能比上全面优于 Anthropic 旗舰；并行 Agent 架构（Ultra Mode）首次证明多 Agent 协作在终端任务上有净收益；饱和趋势下区分度将从排名转向”成本归一化得分”（如 $ per completed task）
• 关键趋势：Terminal-Bench 2.1 已成为 GPT-5.x 与 Claude Opus 4.x 的核心战场，2026 年 6 月 GPT-5.6 Sol 反超 Fable 5 标志 OpenAI 在终端 Agent 任务上重新夺回 SOTA
• 2026-07-16：Moonshot AI 发布 Kimi K3——全球首个开源 3T 级模型（2.8T MoE，896 专家激活 16），Terminal-Bench 2.1 达 88.3%（KimiCode harness），超越 Fable 5 (84.6%，同 harness) 3.7pp，仅落后 GPT-5.6 Sol (88.8%) 0.5pp；输入 $3/MTok（缓存命中 $0.30），权重 7月27日开源——K3 成为第一个在 Terminal-Bench 上接近 Sol Ultra 级的开源模型，标志着开源编码 Agent 能力首次触及 88% 门槛
• 关键趋势：Terminal-Bench 2.1 Top 3 压缩至 3.6pp（Sol Ultra 91.9% / Sol 88.8% / K3 88.3%），开源模型首次进入 Top 3；K3 以 2.8T 参数 + ¥20/MTok 输入价格成为”开源 SOTA + 可控成本”新范式；权重预计 7月27日发布后，自部署团队可在同等推理预算下将终端 Agent 成功率从 Hy3 的 71.7% 提升至 88.3%
• 2026-07-24：Claude Opus 5 发布，Terminal-Bench 2.1 在 Artificial Analysis 统一 Terminus 2 harness 下达 89.1%（max effort），仅次于 Sol Ultra 91.9%，超越 Sol 89.5%（同 harness）；Opus 5 定价 $5/$25 保持不变，以 Fable 5 一半的价格实现接近性能——性价比拐点；Opus 5→Opus 4.8 提升 7.4pp（89.1% vs 81.7%），创下 Anthropic 终端 Agent 最大单代跃进
• 2026-07-31：DeepSeek V4 Flash 正式版 API 上线公测，Terminal Bench 2.1 达 82.7%（DeepSeek Harness minimal mode），从 Preview 版 61.8% 跃升 20.9pp——仅通过后训练实现；284B 总参数 / 13B 激活参数，MoE 架构；$0.08/$0.28 per MTok 定价使终端 Agent 成本降至前沿模型的 1/100
• 关键趋势：Terminal-Bench 2.1 接近全面饱和——Top 8 全部突破 83%，Top 4 压缩至 3.9pp 区间；Frontier-Bench v0.1（Snorkel AI, 2026-07-23）作为官方继承者登场，最佳模型仅 44.4%，提供远更大的区分度；基准生态从”终端操作→前沿工程”两代更替已完成
• 2026-08-03：Qwen3.8-Max（阿里，2.4T MoE）以 86.6%（vendor）进入 Terminal-Bench 2.1 Top 7，将 Grok 4.5 (83.3%) 挤出前 8——阿里首次在终端 Agent 任务上进入第一梯队，但 86.6% 距离 Sol Ultra (91.9%) 仍有 5.3pp 差距
• 2026-08-05：Meta 发布 Muse Spark 1.2 + Muse Code（终端编码 Agent），Meta 自报 Terminal-Bench 2.1 达 82.9%（Muse Code harness，较 1.1 的 76.2% +6.7pp），但 Artificial Analysis 独立评测仅 80%——3.8pp 的 harness 效应再次印证”模型 + 脚手架联合训练”模式下 vendor 自报分数系统性偏高；Muse Spark 1.2 的 82.9%（vendor）/ 80%（AA）均未进入 Top 8（门槛 84.7%），但以其 $0.69/task 的低成本成为性价比参照
• 2026-08-17：Kimi K3 口径修正——vendor（KimiCode harness）自报 88.3%，但 Artificial Analysis 统一 Terminus 2 harness 独立评测约 85%，差距 3.3pp，与 Fable 5（vendor 88.0% / AA 84.6%）的 harness 效应一致。Top 4 的精确排序（Sol Ultra 91.9% / Opus 5 89.1% / Sol 88.8% / K3 88.3%）在统一 harness 下可能重排，K3 的真实位次更可能是”85% 区间、与 Fable 5 持平”而非”88%+ 直逼 Sol”

关键发现

• Claude Mythos Preview 在终端 Agent 任务中领先开源和闭源模型
• GPT 系列在终端任务上优势明显：GPT-5.5 (78.2%) > Opus 4.8 (74.6%)，与 SWE-bench Pro 上 Opus 大幅领先形成鲜明对比
• 错误恢复能力是区分模型优劣的关键
• 需要模型具备真实的系统管理能力，而非仅会生成代码
• Terminal-Bench 可能揭示了一种”任务类型偏好”：不同模型在不同类型终端任务上各有擅长

关联基准

• SWE-bench：代码修复能力
• AgentBench：多环境 Agent 评测
• OSWorld：GUI 自动化

不足与展望

• 终端环境与 GUI 环境差异显著，模型需要分别训练
• 任务定义可能存在边界模糊问题
• 持续跟踪 Claude Mythos Preview 在各基准的表现