为什么重要
过去两年「AI 科学家」这条线上的基准，绝大多数在做同一件事：验证最终答案对不对。Terminal-Bench-Science 检查实验脚本能不能跑出预期结果，DiscoveryBench 检查从数据里恢复出的假设/方程是否接近真值，LLM-SRBench 检查符号回归出来的公式拟合得好不好。它们的共同前提是——“做对”就等于”理解”。
EurekaBench 的出发点正是对这个前提的直接质疑。论文引言引了 2026 年《数学与 AI 宣言》签署人的一句话：这种错配造成了”AI 近期在科学中的使用方式，与传统上推动科学进步的方法之间的严重错位”。
它的做法是把”预测准”和”有洞见”拆成两个独立打分轴，然后让同一个 Agent 在同一次运行里同时被两个轴评分。结果相当刺眼：
GPT 6 Astra 的预测准确率（47.4%）已经追平发表这些研究的科学家本人（48.8%），但它的科学洞见得分只有 29.4%，而人类是 69.7%。
同一批运行、同一批任务、两套判分，差 40 个百分点。这不是”模型还不够聪明”，而是”优化目标本身就选错了”——Agent 把机制发现当成了数值拟合任务。
构建方式
先问科学家要什么，再出题
作者没有直接从论文里扒题。第一步是访谈 15 位来自 10 所大学、横跨 8 个科学域的资深科学家，问的是”在整个研究流程里，你最希望也最预期 AI 在哪一步帮上忙”。这一步的产物不是题目，而是一张”AI 最能加速科研的环节”地图；随后与其中 10 位专家深入合作，从各自领域近期真实发表的研究里改造任务。
这带来一个与多数基准不同的性质：任务来源全部是 2025–2026 年的在研方向。26 道题的出处逐条列在论文 Table 4 里，例如神经科学的 Premotor states（Morrison and Young, 2025）、Zigzag foraging（Zhao et al., 2024）、等离子体物理的 ARC tokamak（Howard et al., 2026），以及一道至今未发表的地球物理手稿（Catchment properties）。用 unpublished expert manuscript 出题，是刻意压低污染风险的手段。
六个域的题量严重不均，这是特性不是缺陷
| 域 | 题数 | 题目举例 |
|---|---|---|
| 神经科学 | 10 | Premotor states、Zigzag foraging、Neural dynamics、Phase memory、Sensory integration |
| 天体物理 | 7 | Single galaxy、Galaxy environment、Gravitational wave、Milky Way、Baryonic feedback |
| 等离子体物理 | 3 | ARC tokamak、Negative triangularity（core-only / edge 各一） |
| 计算机科学 | 3 | Stated belief shift、Subliminal learning、Circuit discovery |
| 地球物理 | 2 | Ice shelf flow laws、Catchment properties |
| 化学 | 1 | Reaction discovery |
神经科学占了近四成，因为它既有可交互的模拟器（如 c302 线虫神经网络），又有明确的”机制”概念——从群体活动到单个神经元活动的因果链是可以被写成一个可执行形式的。这对”洞见能否从机制推出”这件事的判定是刚需。
三份交付物，缺一份就记 0
每道题给 Agent 一个环境接口、一段初始观测和一个时间预算，要求产出三样东西：
mechanism.md—— 机制的因果链叙述，且要求说明每个组成项为什么被包含、它在电路/系统里追踪了哪个物理过程；mechanism.py—— 机制的可执行形式；experiment.log—— 实验日志，被明确写成”实验室笔记本”，供接手这项工作的研究者继续。
评分卡得很硬：任何一份缺失或不符合要求，整份答案记 0；保存目录超过 1 GB 也记 0；会话结束时只有 mechanisms/ 目录会被保留，其余全部丢弃。
评估方式：三个轴，以及”条件总分”这个反直觉的设计
SC：科学约束
judge 拿到的是一组领域内公认的默认假设（例如线虫神经系统的某些基本性质）。判据写得很明确：“每个判据是一条通用假设，不是要求 Agent 去证明它”；只有当机制与该假设矛盾、或者实验结果违反了该假设而 Agent 既没识别出也没在最终机制里交代时，才判 false。另外特别加了一句——看机制实际做什么，不看它给变量起了什么名字。
PA：预测准确率
拿 mechanism.py 去预测测试集上的测量值。
SI：科学洞见
306 条洞见以” discovered mechanism 是否解释/建立了……？“的问句形式给出。judge 拥有同一套环境接口，被要求”从发现的机制出发，用环境接口去检验这条洞见能不能被推出来”。
判定门槛定得极高，几乎是在防作弊：
- 只因为选了某组刺激才成立的结果，不算；
- 只在模拟器里观察到、只在存档数据里成立的结果，不算；
- 基于 judge 自己的先验知识答出来的，不算；
- judge 不得修改或扩展被评估的机制；
- 一个问题有多问时，必须全部答出才算 Yes。
S_conditioned：为什么要把 SC 做成”一票否决”
条件总分的公式是：SC 全部通过时取 (p_PA + p_SI) / (n_PA + n_SI)，否则直接记 0。
这是个很激进的设计，也让主表的第一列（29.8 / 28.7 / 27.3……）看起来低得不正常。作者的理由写在表注里：PA 和 SI 是无条件上报的，也就是不管机制是否违反基本常识都照样计分；而 S_conditioned 要求”先得是个科学的机制，再谈它有多好”。
读这张表时一定要把两列分开看：PA / SI 两列衡量”做得多好”，S_conditioned 衡量”有多少比例的题做出了合格机制”。 最好的人类对照是 63.7%，最好的 Agent 是 29.8%——差距主要在”合格率”而不在”质量”。
关键发现
一、预测准确率已经饱和，洞见远没有
| 系统 | PA | SI | 差距 |
|---|---|---|---|
| 人类科学家 | 48.8 | 69.7 | +20.9（洞见高于预测） |
| Claude Fable 5.1 | 47.4 | 42.4 | −5.0 |
| GPT-6 Astra | 47.4 | 29.4 | −18.0 |
| Claude Opus 5 | 42.9 | 36.2 | −6.7 |
| GPT-5.6 Sol | 41.9 | 25.9 | −16.0 |
人类那一行是唯一”洞见高于预测”的：科学家的机制预测未必最准，但能推出更多东西。 两个 PA 并列 47.4% 的系统，SI 差了 18pp，说明在 PA 这一轴上已经分不出高下的模型，在 SI 上还能拉开一个数量级的区分度。
二、除 Astra 外，所有 Agent 在超过一半的题目上违反基本常识
SC 失败数一栏：Astra 10/26，其余六个系统分别是 15、15、17、16、15、16。“连最基本的领域常识假设都满足不了”是当前这批 Agent 的普遍状态，而且这与 PA 高低无关——Opus 4.8 的 PA 有 42.7%，SC 失败数却是 16。
三、给提示词能提分，但那是作弊式的提分
作者做了两组引导实验（均在 Fable 5.1 上，神经科学 neural dynamics + 等离子体 ARC tokamak 两题）：
- 只加一句”好机制不仅要准，还要对未来探索有用”（+goal）：SI 贡献 Δ+10.0%（neural dynamics）/ Δ+7.9%（ARC tokamak）；
- 直接把洞见问题写进任务书当优化目标（+insights）：SI 贡献 Δ+32.5% / Δ+15.8%。
论文自己立刻否掉了第二种：“这不是一个自然的设定——科学家第一次观察到一个挑战现有理解的现象时，并不知道它的机制会产出什么洞见。” +32.5% 是”把答案给进去”换来的，不是能力。
四、实验过程中发现的洞见，比从机制推出的洞见少一倍
judge 在没有模拟器访问权限的条件下重评了一遍，只看 Agent 在实验过程中实际发现了什么。Fable 5.1 从 42.4% 掉到 22.7%，是全场差距最大的。另有 6.7% 的判例是”judge 从实验日志里承认了某条洞见，却无法从机制本身推出来”——日志里写到了，机制里没装进去。
五、四类失败模式
专家逐条审了 Fable 5.1 与 Astra 的实验日志，归纳出四类：
- 依赖预设的假设与选择——围绕未经论证的选择搭解释，例如 navigation goals 题里选了神经元 readout 却没先证明它捕捉到了相关回路与行为；
- 把任务优化当成机制发现——zigzag foraging 题里把突触强度调到匹配目标响应，然后把这个优化结果当成机制交付；
- 不用实验去消解不确定性——Fable 5.1 在 ARC tokamak 里识别出了一个可能的数值假象，却没有去降低扩散率下限来验证它的影响；
- 停在观测层面不再往下探——Astra 观察到了对温度与密度梯度的响应，却没有进一步去试”改变主导湍流区间能否改善性能”。
同时也有正面行为：会拒绝与证据矛盾的机制，能识别变量与模型参数的物理含义。结论是 Agent 擅长任务优化，不擅长为消解科学不确定性而做开放式实验。
六、两个 judge 之间的一致性只有 0.20
这是论文自己披露的、也是最容易被引用者忽略的一条：两个 judge 的 Kendall tau-b 只有 0.20（95% CI [0.07, 0.32]），反转率 39.9%（[33.2, 46.5]），p = 0.008；换成 Claude Opus 4.8 或 GPT-5.6 Sol 当 judge，tau-b 也是 0.15，反转率 41.8% / 42.8%。
也就是说，SI 这一列的判分噪声相当大。论文的做法是让任一 judge 判 false 就计数（SC）或要求逐步证据链（SI），属于”用严格程序压噪声”。引用 29.4% / 42.4% 这些数字时，应当把它当作带 40% 反转率的评判结果，而不是精确测量。
七、成本与分数几乎无关
- 最贵的两次运行（Astra $24.62、Fable 5.1 $23.96）拿下了前两名；
- 但 GPT-5.6 Sol 用 $2.23 拿到 19.4%，DeepSeek V4 Flash 用 $1.24 拿到 14.6%——每分成本约为 Fable 5.1 的 1/7 到 1/20；
- 调用次数与分数同样脱钩：DeepSeek V4 Flash 调了 206 次环境（全场最多）只拿 14.6%，Astra 调 149 次拿 28.7%。
在科学发现类任务上，“多跑几轮”目前换不来更好的机制。
与其他科学基准的定位差异
论文 Related Work 里逐类划了界：工具使用与研究流程类（SciAgentBench 一类）、可验证产出与科学软件工程类（Terminal-Bench-Science 一类）、实验复现类（PaperBench / CORE-Bench 一类）、相对数值基线的提升类（MLE-Bench 一类）、从数据恢复假设与方程类（DiscoveryBench / LLM-SRBench）。
最接近的是 DiscoverPhysics（在模拟世界里同时评轨迹预测与概念解释，对照专家撰写的 rubric）与 BoxingGym（检验解释能否帮另一个 Agent 预测未见结果）。EurekaBench 与它们的区别是：把”洞见”本身做成了可判定的二值问题（306 条问句），并且要求洞见必须能从 Agent 自己发现的机制推出，而不是从它的先验知识里来。
局限
- 规模小：26 道题、7 个 Agent 配置，主表里最大的差距（29.8 vs 12.9）只对应几道题的差别，没有置信区间。
- judge 一致性低（见发现六），SI 列应作区间读。
- 域分布不均（神经科学 10/26），跨域结论受单域主导。
- 8 小时时间预算 + 1 GB 存档上限是硬性约束，长程实验能力可能被预算而非能力限制住。
- 人类参考线 63.7% 来自合作专家本人在该问题上的机制，是”专家上限”而非”人类平均水平”。