CompMat-Bench 1.0

为什么重要

计算材料学是 LLM Agent 最想啃、也最难啃的一块。它同时要求三样东西：读懂物理问题的科学判断力、写出可运行输入文件的工程能力、以及从数值结果里读出门道的分析能力。而现有的评测几乎都绕开了它，原因是钱。

一次 VASP 或 Quantum ESPRESSO 计算可以跑几小时到几天。如果一个基准有 94 道题、要测 4 个 Agent、每个 Agent 还要重复 3 次，那么”每个 Agent 每次都真跑一遍仿真”这件事在物理上就不成立。此前的工作因此不得不在三个方向中做取舍：

• FIRE-Bench（ML 方向）：题目来自已发表研究，但不含昂贵计算，用 LLM judge 判分；
• AutoMat（材料方向）：题目来自已发表研究且含昂贵计算，但评测时仍要跑，且用 LLM judge；
• SimulCost（物理仿真）：用固定规则判分，但题目是自己定义的，不是真实研究；
• ReplicationBench（天体物理）：三项都沾，但”昂贵计算被排除在评测之外”这一条只是部分成立。

CompMat-Bench 的贡献是把这个不可能三角拆掉了：先把昂贵仿真跑一次，之后只考 Agent 准备输入和分析输出。输入文件不运行也能用固定规则判对错，输出分析从作者预计算好的结果出发。于是”来自真实研究""含昂贵计算""评测时不跑昂贵计算""固定规则判分”四条第一次同时成立。

这个设计的收益不只是省钱。它把真值的一致性也解决了——真值与任务设定同源，还包含论文里省略掉的细节；而固定规则判分意味着不需要 LLM judge，也就绕开了 judge 自身一致性不足的问题（这是同类科研基准普遍的软肋）。

构建方式

题目来源。 15 篇同行评议的计算材料学研究，多数发表于 2026 年 1–3 月。每篇被拆解成若干”研究步骤”，共 94 个任务，任务之间保留科学依赖关系。任务分三类：

涉及的仿真代码包共 9 个：VASP、Quantum ESPRESSO、ABACUS、Wannier90、LAMMPS、phono3py/phonopy、MACE、ALAMODE、TB2J。每个任务配 1–55 条固定检查项。

两个被做成变量的维度。 这是本基准最值得记住的设计。它把以往基准一律钉死的两件事变成了可控变量：

1. 方法学指导（guidance）：全指导（F）在题干里给出问题设定、输入文件内容、以及方法本身——比如”用原子格林函数方法""传播通道的判据是什么""动力学矩阵与归一化散射矩阵的约定是什么”；降指导（R）只保留问题与必需的精度、量的定义与输出格式。
2. 任务跨度（span）：单任务（S）单独做；工作流（W）把若干相关任务串成一条链，前面的输出是后面的输入。

两者交叉出四个条件：SF、SR、WF、WR。工作流条件下 8 个工作流各跑 3 次（每条件 24 次运行）；单任务条件下只取 52 个”降指导提示与全指导提示确实不同”的题目，好让两个指导档位在同一批题上对比。

关键发现

一、单任务全指导：能过，但”写输入”是硬伤

四个 Agent 在 SF 条件下的通过率是 66.0–91.5%。拆开任务类型看，落差极大：

• 输入准备：36.7–76.7%——所有 Agent 最弱的一项；
• 输出分析：96.6–100%——三个较强 Agent 几乎全过。

这个 30–60pp 的落差是本基准最核心的读数：模型会算，但不会配。给一份算好的数据让它求物理量，它几乎不会错；让它自己写出一份能让 VASP 正确跑起来的 INCAR，它错一半。

同一模型换脚手架的结果高度稳定：GPT-5.6 Sol 在 MatClaw 上 90.4%、在 Codex CLI 上 91.5%，差 1.1pp。这与 Terminal-Bench、ARC-AGI-3 上观察到的”同权重不同脚手架差 30pp 以上”形成鲜明对比——科研计算任务的成绩主要由模型本身决定，脚手架不是主变量。

二、成本与分数完全脱钩

按厂商标准价跑完 94 题：

Gemini 3.8 Flash 与 GPT-5.6 Sol 分数只差 1.0pp，成本差 3.9 倍。原因是步数：56 步对 4 步，输入 token 用量 48 倍。同分不等于同价——这一点在只报分数的排行榜上完全看不见。

三、重复跑：强者的失败是”题难”，弱者的失败是”运气”

20 个题目各跑 5 次（100 次运行）：DeepSeek V4.1 Flash 62%、Gemini 3.8 Flash 88%、GPT-5.6 Sol 93%，排序与单跑一致。但失败的结构完全不同：

• GPT-5.6 Sol 与 Gemini 3.8 Flash：20 题里只有 2–3 题出现”有的跑过了有的没过”的混杂结果，其余失败是稳定的；
• DeepSeek V4.1 Flash：11 题结果混杂。

也就是说，强模型的失败集中在特定难题上（可归因、可修），弱模型的失败主要来自运行间波动。只看单次通过率会把这两种失败混为一谈。

四、2×2 网格：加长与减提示，对不同模型的打击方式不同

从 SF 出发：

结论有两条。第一，更长的工作流和更少的方法学提示都不会把通过率抬上去，多数情况下只会拉低它——这一点本身值得写进任何 Agent 评测的设计规范：提示多给的那些方法论不是”提示工程的花招”，它本身是能力的一部分，或者说它目前还不能被模型自己补上。

第二，强者的失效模式是”叠加”而非”单独”。GPT-5.6 Sol 单独加长（WF）或单独减提示（SR）都稳在 4pp 以内，只有 WR（长工作流 + 降指导同时发生）才掉到 75%；而两个较弱模型在任一单独变化下就已经明显下滑。这是判断一个 Agent 是否真的具备科研自主性的分水岭：能不能在没有人告诉它方法、且要连着做十几步的情况下，自己把方法选对。

五、失败分析：错的是物理，不是软件

50 次工作流失败中 38 次是科学错误（物理选择错，或选对了但实现错）；剩下 12 次里 11 次是 DeepSeek V4.1 Flash 超时。单任务里科学错误（42）与操作错误（44）大致相等。

两条细节极有说服力：

异常就在它自己的输出里，它看不见。 CrN 工作流 15 次失败中有 9 次用了不合适的 Wannier 构造设置：Wannier spread 达到 105–215 Ų，是通过运行的 25–28 Ų 的 4–8 倍，或者解纠缠根本不收敛；由此算出的交换常数最大偏离 116%。而在全部 9 次中，这个异常就打印在 Agent 自己拿到的 Wannier90 输出里，但 Agent 直接往下走了，没有回头改设置。作者的推断是：这类诊断知识是隐性的，文献里很少写，靠的是研究实践积累，因此在训练数据里表征极弱。

没有错误消息就永远学不会。 全部 18 次软件使用错误都发生在输入准备任务里——因为这类任务只写输入、不跑软件，Agent 拿不到任何报错。而在工作流里 Agent 会真的执行代码，输入写错会得到反馈并自行修正。同样的道理也解释了 LAMMPS 那道题：题目要求为六原子类型的 WS2/WSe2 莫尔双层写输入，设置层间相互作用的那一行必须为六个类型各给一个元素名；离线手册就在手边，但手册没写这条规则、示例只用了两个原子类型——所有 Agent 全部照抄两个元素名，15 次运行无一例外。因为不运行，没有任何错误消息能揭示这个错误。

如何读这份榜单

• topResults 取 SF 条件（单任务 + 全指导，94 题），这是论文给出完整分类型的口径，也是唯一有成本对照的口径。
• WR 值放在同一格做对照，但它只覆盖 8 个工作流 × 3 次运行，样本量远小于 94 题，两者不是同一精度的测量。
• 不要把 SF 的 90% 读成”模型能做计算材料学研究”。它说明模型在全套方法学提示下、单步执行时能完成九成研究步骤；在没有人给出方法、且需连做十几步的真实情境下，最强的那个是 75%，较弱的两个只有 50–54%。
• 本卡只测了 3 个基座模型（4 个 Agent 配置），且全部通过 MatClaw / Codex CLI 脚手架。样本密度远低于主流编码基准，不宜做跨基准强弱外推。

局限

论文自己列出的限制包括：任务虽来自真实研究，但被拆成”步骤”后与原研究的完整闭环仍有距离；预计算方案只适用于接口固定的标准仿真包，对需要自由探索的研究方向不适用；15 篇来源研究集中在 2026 年 1–3 月，方法学分布有偏。此外，四个条件里只有 SF 覆盖了全部 94 题，WR 的 8 个工作流是全部 15 篇研究中的一小部分，两条件的题目集合不同，跨条件相减得到的 pp 差值应视为方向性结论而非精确测量。