Terminal-Bench-Science 0.1

为什么重要

科学 Agent 的评测长期缺一块东西：不是”能不能解题”，而是”能不能把研究者的真实工作流跑完”。Terminal-Bench-Science 0.1 补的就是这块。

它把任务来源从”基准作者构造”换成了”研究者自己的管道”——数据清洗、统计推断、仿真、最优化、图像重建、信号处理、反问题、传感器标定、模型拟合、分类、科学机器学习。这些是多步终端工作流，失败面比单文件编码题宽得多。

最能说明它定位的是那个入库漏斗：

提案到上线的转化率是 7.6%。对一个基准来说，这意味着”题不够难”根本不是它的风险——真正的风险是太难、太窄、太依赖专家时间。

由此得到的头名数字也很诚实：0.1 发布时最强配置只解决 30.0% 的任务。在 SWE-bench 家族已经卷到 80%+ 的 2026 年，一个把前沿模型压回 30% 的基准立刻成了稀缺品。

构建方式

任务征集走 Propose → Build → Review 三段式，任何研究者都可以提自己的工作流，进入门槛不是斯坦福 affiliation，而是”一个领域评审能验证的科学有效性”加”一份干净的实现”。

每个存活下来的任务要过三道独立评审：

1. 领域评审（domain reviewer）——科学本身对不对
2. 技术评审（technical reviewer）——任务是怎么搭的
3. Bar raiser——最后一轮质量把关

0.1 由 376 位贡献者、覆盖 22 个国家共同完成，Apache-2.0 协议，v0.2 的 PR 截止日期定在 2026-10-05。

学科分布明显偏向三个域：

工程与地球科学加起来只有 17 个任务，是覆盖最薄的部分——这也正是社区 v0.2 最该补的方向。

评测口径上有一条必须写在前面的警告：分数衡量的是”模型 + agent harness”这个组合，不是脱离脚手架的模型能力。官方对每个 model-agent 配置跑三次，用 Harbor harness 在容器里做确定性验证。

完整排行榜（2026-09-17 读取）

口径冲突提示：Anthropic 的 Fable 5.1 system card 报的是 Fable 5 = 24.7%、Opus 5 = 29.0%，与上表官方榜的 21.4% / 30.0% 有 1–3pp 落差。两家分数都可用，但不要混在同一张表里比较。

关键发现

1. 头尾差距约 9 倍，区分度远超已饱和的编码基准。 64.6% 对 3.3%——在 SWE-bench Verified 上八款模型挤在 80.0%–80.6% 这 0.6pp 的带子里，而这里第一名是第十一名的近 20 倍。

2. 代际跃迁比厂商差异更显著。 Claude Opus 5（30.0%）对 Claude Opus 4.8（10.5%）是同一厂商内部的近三倍提升；Fable 5.1（52.6%）对 Fable 5（21.4%）是 2.5 倍。科研工作流的失败模式高度依赖长程规划能力，而这恰好是 2026 年模型迭代中变化最快的维度。

3. 开源权重与闭源的差距在这里被放大。 GLM-5.3（8.1%）与 Kimi K3（7.1%）都停留在个位数，头名是它们的 8–9 倍。对比 Terminal-Bench 4.0 上 GLM-5.3 的 41.8%（距头名 16.4pp），科研域的落差明显更陡——说明这些任务考验的不只是通用 Agent 能力，还有长链条的专业推理。

4. 成本是真实约束，不是附注。 跑完 70 个任务，Claude Opus 5 花费约 $7.0k（约$100/任务），GPT-5.6 Sol 约 $4.2k（约$60/任务；每任务单价为按总量推算，非官方公布的平均值）。这让”多跑几次取最好”的策略在该基准上代价高昂，也解释了为什么官方只跑三次。

5. 头名换了人，且方式是”更便宜地拿到更高分”。 GPT-6 Astra 的 64.6% 比 Fable 5.1 高 12pp，官方口径下完成同等任务的 API 成本低约 31%；在更低成本设置下仍有 61.1%，比 GPT-5.6 Sol 的最佳 22.4% 高出近 39pp，同时成本低约 27%。能力领先与成本领先首次同向。

最新进展

• 2026-09-30：Gemini 4 Argon 报 57.6%，是本基准首次出现的 Google 系条目，也是”科研工作流 = Astra 保留优势赛道”这一判断的又一次确认。三个读法：① Argon 排在 Astra（68.1%）与 Opus 5.5（63.3%）之后、Fable 5.1 官方值（40.0%）之前，落在它整张 19 项对照表里为数不多的落后项之一——同期它在 Vals Index、AutomationBench、Harvey LAB、GraphWalks 上都是头名，“企业级长文档工作流强、终端与科研工作流弱”的形状在 Argon 身上比在任何一个模型上都清晰；② 对照它在 Terminal-Bench 4.0 上的 57.4%（落后 Opus 5.5 九个百分点），Argon 在两条终端类赛道上的落后幅度几乎相同（9.0pp / 10.5pp），这不是某一道题的噪声，而是一个稳定的能力边界；③ 本条与官方 Snorkel 榜同 lane——Google 表同时复现了 Astra 68.1% 与 Opus 5.5 63.3%，两个值与官方榜逐字一致，因此可以放进 topResults
• 2026-09-29：GPT-6.1 Sol 报 58.1%（Artificial Analysis 独立实现 max）/ 57.0%（OpenAI 自身发布图表 max），两条来源差 1.1pp。这是 OpenAI 侧第一次有”次旗舰”级别的产品线接近本基准前三：Sol 6.1 高于 GPT-6 Sol 与 Luna（两者均低于 08-30 快照里的 GPT-5.6 Sol 22.4% 量级，未公布具体值），也高于 Argon 的 57.6%。⚠️ 但 58.1% 与 57.0% 都不是官方 Snorkel 值——考虑到本基准上 Fable 5.1 出现过官方比自报低 12.6pp 的先例，且 Astra/Opus 5.5 又出现过官方比自报高 3.5/4.6pp 的反向缺口，在 Snorkel 收录之前，Sol 6.1 与 Argon 这两条的相对次序不可当定论，topResults 里的排序只是合规
• ⚠️ 本轮新增两条把”官方 lane vs 非官方 lane”混排的风险推到了最高：topResults 前三条是官方 Snorkel 值（68.1 / 63.3 / 59.9 中仅前两条为官方，59.9 为 vendor 自报），第四、五条为 AA / Google 表值，第六条起回到官方值。这张表现在能在同一屏里给出四个不同 provenance 的数，读它时必须逐条看 model 字段里的来源标注，不能只看分数
• 2026-08：0.1 发布，70 个任务。官方榜 8 月 30 日快照时 Claude Opus 5（Claude Code）以 30.0% 居首，GPT-5.6 Sol（Codex）22.4%、Claude Fable 5（Claude Code）21.4% 紧随。
• 2026-09-01：Anthropic 发布 Claude Fable 5.1 / Mythos 5.1，把 Terminal-Bench-Science 0.1 列为科研 Agent 能力的主评测之一，报出 52.6%（Fable 5.1），相较 Fable 5 的 21.4% 翻倍以上，是第一个在该基准上过半的模型。
• 2026-09-03：GPT-6 Astra 以 64.6% 反超 12pp 登顶，并同时把估计 API 成本压低约 31%，成为该基准目前唯一一个”分数更高且更便宜”的头名。
• 2026-09-22：Claude Opus 5.5 报出 58.7%，升到第二位，把 Fable 5.1（52.6%）挤到第三。Anthropic 的同口径对照为：Opus 5.5 58.7% / Fable 5.1 52.6% / Opus 5 29.0%，GPT-6 Astra 仍以 64.6% 居首。这是本基准上目前唯一一个 Anthropic 承认落后于对照模型的分数——官方表里 Astra 那一行是 64.6%，高于 Opus 5.5 的 58.7%。结合同期 Opus 5.5 在 Terminal-Bench 4.0（66.4% vs Astra 57.9%）与 OSWorld 2.0（81.8% vs Astra 72.6%）上全面反超，可以勾勒出一条相对清晰的分界：Astra 在”科研工作流”这一类需要长链终端操作 + 领域知识的任务上仍有 6pp 左右的优势，而在通用终端 Agent 与桌面工作流上已被反超。另注：Opus 5 从 30.0% 到 Opus 5.5 的 58.7%，一代之间 +28.7pp，是本基准上线以来最大的单次代际跃迁——此前最大的一次是 Fable 5 → Fable 5.1 的 +31.2pp（21.4% → 52.6%）。连续两代 Anthropic 模型在同一基准上实现接近翻倍的跳升，说明 0.1 的 70 个任务对”科研工作流”这一能力维度仍处在陡峭段，尚未进入边际递减区。
• 2026-09-28：Claude Sonnet 5.5 报出 59.9%（Max with tools，vendor 自报），排到已公布条目中的第三位。这是本卡第一次出现”中端模型挤进科研工作流榜单前三”。三点读法：① 按自报口径，它落在 Opus 5.5 的 58.7% 之上、Astra 的 64.6% 之下；但 ⚠️ 上方两条进 topResults 的是官方 Snorkel 值（68.1% / 63.3%），与这条自报值不是同一个 lane——本基准上官方↔自报的差值方向已出现过两种（Astra 与 Opus 5.5 官方更高、Fable 5.1 官方低 12.6pp），在 Sonnet 5.5 真正进入官方榜之前，59.9% 只能当厂商数字用。它进表只是因为自报口径下确有此值且能定位量级，不代表与 63.3% 可比。② 真正的看点是代际跨度：Sonnet 5 在本基准上没有公开分数，而它在 Terminal-Bench 4.0 上只有 10.3%、Sonnet 5.5 是 70.6%；若这条 +60pp 的曲线在科研赛道上哪怕只兑现一半，也足以解释 59.9% 这个位置。③ GPT-6 Astra 的领先（官方 68.1%）仍在，“科研工作流是 Astra 对 Anthropic 全系保留优势的赛道”这一判断到本轮依然成立，只是领先对象从 Opus 5.5 扩到了 Sonnet 5.5。GPT-5.6 Terra 的 8.6% 因此退出前八
• 2026-09-17 建卡：0.2 版本的 PR 截止日为 2026-10-05，任务集将扩大；当前 11 个已评测配置中只有 4 个超过 10%，基准整体仍处在陡峭区间。
• 2026-09-26 更新：官方 Snorkel 榜快照把头两名同时上修，本卡此前记录的 64.6% / 58.7% 均为厂商自报值。官方榜（By Resolution Rate）现为 Astra 68.1% / Opus 5.5 63.3% / Fable 5.1 40.0% / Opus 5 30.0%。三点读法：① Astra 与 Opus 5.5 各自上修 3.5pp 与 4.6pp，方向与 Terminal-Bench 4.0 上”Vals 独立跑低于 vendor 自报”相反——本基准上官方榜高于厂商自报，再次说明 vendor↔官方的差值方向必须逐基准判，不能套用经验值；② Astra 相对 Opus 5.5 的领先从 5.9pp 收窄到 4.8pp，“科研工作流是 Astra 唯一保留优势的赛道”这一判断仍然成立但优势在缩；③ ⚠️ Fable 5.1 出现 12.6pp 的反向缺口：官方 40.0% vs Anthropic 自报 52.6%，是所有条目里唯一官方显著低于自报的一条。在同榜 Opus 5（30.0%）完全一致、Astra 与 Opus 5.5 均为官方更高的情况下，这一条缺口无法用”官方口径整体更严”解释，在 Snorkel 公布该行的 effort 与 harness 之前，本卡对 Fable 5.1 保留两个值、不判定哪个为真。这条也直接修正了 09-22 那条”Fable 5.1 被挤到第三”的结论——按官方口径它仍在第三，但分值是 40.0% 而不是 52.6%。

局限性与展望

• 70 个任务的统计精度有限。 单次评测只有 70 个二值结果，官方跑 3 次也只得到 210 个样本；任务结果的强双峰性（要么跑通要么卡死）会让标准误偏大，5pp 以内的排名变动基本不可分辨。
• 跨学科覆盖不均。 生命 / 物理 / 数学三域占了 53/70，工程与地球科学合计仅 17 个任务，且没有给出各域的细分难度报告。
• 贡献者地理与学科集中。 376 位贡献者来自 22 个国家，但官方未公布国别与学科分布；如果贡献高度集中在少数欧美院校，“真实科研工作流”的样本代表性会被削弱。
• 只减不增的激励问题同样存在。 v0.2 依赖社区继续供题，而领域评审需要真实的科研时间投入——这是比 Terminal-Bench 4.0 更稀缺的资源，因为它要求 proposer 本身就是领域研究者。
• harness 效应未剥离。 目前没有像 SWE-bench 那样的”统一 mini-SWE-agent harness”副榜，跨 harness 比较仍带脚手架效应；GPT-6 Astra 的 64.6% 与 Fable 5.1 的 52.6% 严格说是两套脚手架的对比。

关联基准

• Terminal-Bench 4.0：同一 Harbor 谱系的通用终端 Agent 基准，66 个滚动任务
• SWE-bench Pro：仓库级软件工程，头名已过 80%，区分度远低于本基准
• SWE-bench Pro Verified：从封堵奖励黑客角度做可信化
• Harbor-Index：面向 Agent 基准本身的元数据集，同样针对”快速饱和”问题
• ALE：55 个职业的真实工作流，与本科基在”真实任务来源”上同源