为什么重要
Terminal-Bench 2.1 已经被几乎所有前沿实验室用于衡量 Agent 在终端环境中的价值工作能力——但 Top Agent 已清除 75-84% 的任务。Frontier-Bench 是 Terminal-Bench 的官方继承者，旨在追踪前沿，任务难度跨越 7 个专业领域，最佳模型仅能解决约 34-44%。
Frontier-Bench 的三大核心创新：
- 开源社区共建：任何人都可以提交任务，通过自动化审查管道（35 项 Rubric 审查 → Docker/Oracle/No-Op 验证 → 实机 Agent 试验 → 对抗性”作弊”试验）才能进入正式榜单
- 7 域 31 子域：覆盖软件工程、ML 训练/推理、业务推理、安全攻防、硬件设计、自然科学、创意媒体，远超 Terminal-Bench 的单域聚焦
- 持续演进：非固定发布，而是通过社区贡献持续增长——发布时 74 任务只是起点
构建方式
- 任务由开源社区提交，Snorkel AI 作为任务作者和数据合作伙伴
- 每个任务必须通过 5 阶段审查管道：
- 静态检查：Canary 标记、Dockerfile 完整性、路径与元数据验证
- Rubric 审查：Agent 对任务按 35 项标准评分（可验证、可解、高难度、反作弊等）
- Docker/Oracle/No-Op：环境构建成功、参考方案通过、无操作失败
- 维护者审查：人工审核通过所有自动化门禁
- Agent 与作弊试验：多个 Agent 尝试任务，含对抗性攻击
- 7 个顶层域（Software/Science/ML/Operations/Security/Hardware/Media），31 个子域
- 通过 Open Benchmarks Grants 项目获得资金支持（Snorkel AI $3M 承诺）
任务示例
- session-window-debug (Software)：调试流式会话窗口处理器，缺陷仅跨时间状态追踪时暴露
- embedding-drift-monitor (ML)：修复 ML 漂移监控管道，6 个跨栈缺陷被各自的 docstring “辩护”
- shadow-relay (Security)：从原始网络流量包逆向工程数据窃取，破解 DGA 和自定义二进制会话
- react-lead-form (Software)：修复 React/TypeScript 线索录入应用，单一提交管道跨验证/台账/CRM 导出保持一致
关键发现
- 44.4% 天花板仍然极低：Claude Opus 5 在 max effort 下仅 44.4%，距饱和还有 50pp+ 空间
- Terminal-Bench 2.1 vs Frontier-Bench 差距巨大：Fable 5 在 TB 2.1 上 88.0%，在 Frontier-Bench 上仅 33.8%——真实的长程终端工作远比现有基准困难
- Opus 5 在 v0.1 上超越 Fable 5 和 GPT-5.6 Sol 近 10pp：Opus 5 的 Agent 能力在跨域任务上优势显著
- 开源模型掉队严重：GLM-5.2 仅 5.1%，开源与闭源差距 6-8 倍
- 成本差异巨大：GPT-5.6 Sol $4.0k vs Fable 5 $7.0k vs Grok 4.5 $1.1k，性价比各异
- 7 域中 Software/ML/Security 三域是硬骨头：展示任务多集中于此，也是 Agent 能力差距最显著领域
最新进展
- 2026-08：Frontier-Bench 品牌已终止——据 Terminal-Bench 官方版本沿革表，Terminal-Bench 3.0（2026-07，74 任务）的说明为 “New rolling task set (formerly branded Frontier-Bench); initial 74 tasks added”，即本基准的 74 个任务被整体吸收为 Terminal-Bench 3.0 的初始滚动任务集。此后 4.0（2026-08，66 任务）在此 3.0 集上移除 8 个、修订 20 个、新增 0 个。本页标记为 superseded，后续数据请以 Terminal-Bench 4.0 为准
- 口径警告：v0.1 的 Opus 5 分数存在 43.3%（Anthropic 官方发布）与 44.4%（BenchmarkList）两个版本；由于任务集在 3.0/4.0 已更换一轮，这些数字与 4.0 上的 51.8% 不可比较——分数上升不代表能力提升，很大程度来自任务集重写
- 2026-07-23：Frontier-Bench v0.1 正式发布，74 任务 / 7 域 / 31 子域，GPT-5.6 Sol 以 34.4% 首日登顶
- 2026-07-24：Claude Opus 5 发布，在 max effort 下以 43.3%（官方）~ 44.4%（BenchmarkList）刷新 SOTA，比 GPT-5.6 Sol 高约 10pp
- 2026-07-23：Snorkel AI 内部博客公开 5 个自建任务深度剖析，展示任务设计哲学
- 关键趋势：Frontier-Bench 是 Terminal-Bench 2.1 的官方接棒者——随着 2.1 接近饱和（Top 91.9%），Frontier-Bench 重新建立了 50pp+ 的区分空间；Opus 5 的 44.4% 显示 Agent 能力仍有巨大提升空间