为什么重要
编码 Agent 正在被当作”自主科研”工具来卖。但执行一个已定义好的分析，和做出一项科学发现，是两件不同的事——而现有基准几乎全部测的是前者。
问题出在构造方式上：SciCode、PaperBench、CORE-Bench、ReproduceBench、DiscoveryBench、BLADE、ResearchClawBench 这一整条线，都是围绕一篇隐藏的目标研究来搭任务、数据和评分细则的。任务、数据、rubric 三样东西全部指向同一个已知答案，模型做的事是”把那个结果复现出来”，评分奖励的是”恢复源头研究的结论”。这条路走到头，测的是工程执行力。
TruthInsightBench 反过来构造：只暴露一个中性科学目标和一份冻结数据，把源结论、期望数值、分析路径全部扣留。Agent 得自己决定这批数据支持什么主张。
（arXiv:2609.05079，作者 Zhibo Yang、Chen Zhang、Yuewei Zhang、Hao Wang，通讯邮箱 TruthInsightBench@163.com。）
构建方式
盲题的三段式。 每道题定义为一个任务元组，由「给 Agent 的」与「扣留的」两半组成：
- 给出：一个中性的科学目标 g、冻结数据 D、可用方法/工具约束 M、知识截断点 T0
- 扣留：源论文的结论 p*、关键量值 F*、分析路径 A*
任务取自 2018–2024 年间发表的 40 篇同行评议研究，覆盖 10 个学科：
| 学科 | 题数 | 占比 |
|---|---|---|
| 生命科学 | 5 | 12.5% |
| 物理学 | 5 | 12.5% |
| 计算数学 | 4 | 10.0% |
| 地球科学 | 4 | 10.0% |
| 能源 | 4 | 10.0% |
| 信息科学 | 4 | 10.0% |
| 材料科学 | 4 | 10.0% |
| 神经科学 | 4 | 10.0% |
| 天文学 | 3 | 7.5% |
| 化学 | 3 | 7.5% |
| 合计 | 40 | 100% |
六个维度、29 条条目。 打分不是评”报告写得好不好”，而是评Agent 自己提出的声明的证据成熟度：
| 维度 | 衡量什么 | 权重 |
|---|---|---|
| Evidence Auditability | 数据源、对象、分析过程、关键结果、最终主张是否构成可追溯、可验证、相互一致的证据链 | 45 |
| Robustness | 结论能否扛住随机重跑、样本变动、方法或阈值变动，是否声明适用范围 | 15 |
| Control Testing | 是否用简单基线、无信号对照、竞争解释与混淆/伪影检查证明了解释的特异性 | 15 |
| Cross-Dataset Generalization | 同一主张在独立数据、时间间隔或对象上，按预先设定的分析与判定标准是否仍成立 | 10 |
| Novelty | 相对 T0 之前的文献，主张是否新增了对象、关系、量化结果或适用边界 | 10 |
| Falsifiability | 是否指定了能将其与竞争假设区分开的后续观测或实验，以及什么会维持、收窄或推翻它 | 5 |
每条条目三档判定：完全满足（1）、部分满足（0.5）、不满足（0），加权求和到 100。
自动化与可审计。 法官是单个冻结的 LLM（GLM-5），判的是 Agent 真实跑过的分析和产出制品，不是自由文本相似度；只有聚合步骤是确定性的。另有验证锚点——确定性重算脚本与容差，用于独立于法官地复算关键量。评分代码与任务数据都在 GitHub 上，Agent 升级后可无人工介入地重跑。
控制变量的设计值得单独说。 四个 Agent 全部使用同一个冻结基座 DeepSeek-V4-Flash，thinking 关闭。这是刻意的：把基座固定住，才能隔离出”Agent 脚手架”（工具使用、状态管理、任务分解、工作流）对发现行为的贡献，避免不同 Agent 配不同前沿模型时的基座-脚手架混淆。
关键发现
1. 四个 Agent 挤在一个没有统计分辨力的平台上。
| 系统 | 均值 | 均值 95% CI | 单题 Min–Max | 题间 SD | 第一名题数 | 前二题数 |
|---|---|---|---|---|---|---|
| Claude Code | 60.27 | 58.36–62.18 | 44.3–72.9 | 6.16 | 13 | 26 |
| OpenScience | 59.03 | 57.08–60.97 | 36.2–67.4 | 6.28 | 9 | 21 |
| Codex CLI | 58.81 | 57.25–60.36 | 46.8–70.8 | 5.03 | 10 | 18 |
| DeepSeek Harness | 58.40 | 56.31–60.49 | 43.8–72.2 | 6.75 | 8 | 15 |
40 道题的逐题差值做配对双侧 Wilcoxon 符号秩检验，六组比较没有一组在 0.05 水平上分离（最小 p = 0.118），Holm 校正后结论不变。 用 ±4 分的实际等价边际做 TOST 等价检验，六组全部等价——最宽的一组均值差 90% 置信区间端点仅到 −0.31。“谁第一”这个问题在本基准上不成立。
2. 分项剖面才是真正的结果：执行强，判别弱。 下表为各维度得分占该维度满分的百分比：
| 维度 | Claude Code | OpenScience | Codex CLI | DeepSeek | 判读 |
|---|---|---|---|---|---|
| Evidence auditability | 79.25 | 80.68 | 78.19 | 78.74 | 数据到主张的链路扎实 |
| Robustness | 13.51 | 9.24 | 12.67 | 8.89 | 近乎普遍地低 |
| Control testing | 15.78 | 14.40 | 15.29 | 11.45 | 最大的诊断缺口 |
| Cross-dataset generalization | 0.10 | 0.41 | 0.29 | 0.00 | 单阶段任务下约等于 0 |
| Novelty | 83.04 | 85.87 | 87.27 | 84.13 | 多数主张确由数据自发形成 |
| Falsifiability | 32.46 | 33.14 | 31.98 | 28.62 | 更新规则很少可执行 |
强与弱之间差 38–40 个百分点（审计性/新颖性 ≈ 78–87，对照/泛化 ≈ 0–15）。这个内部剖面的跨度，比四个系统之间那 1.87 分的差距大一个数量级——瓶颈在科学判断力，不在编码。论文的措辞是：Agent 跑完了分析工作流，却无法裁决自己得出的结论。
3. 新颖性高不等于发现成立。 Novelty 拿到 83–87%，说明 Agent 提出的主张确实是从这批数据里自发形成的、不是复述记忆中的文献结论。但同一批主张在 Control testing 上只有 11–16%、在 Cross-dataset generalization 上几乎是 0。提出一个新说法，和证明这个说法站得住，是两件事——本基准把这两件事拆成了两个独立维度，才使得这个背离可见。
4. 声明产出量与质量都很接近。
| 系统 | 原始声明数 | 去重后 | 每题平均 | 重复率 | 前二声明质量（满分 80） |
|---|---|---|---|---|---|
| Claude Code | 191 | 172 | 4.30 | 9.9% | 44.58 |
| OpenScience | 172 | 149 | 3.73 | 13.4% | 44.17 |
| Codex CLI | 172 | 146 | 3.65 | 15.1% | 44.11 |
| DeepSeek Harness | 189 | 163 | 4.08 | 13.8% | 43.33 |
四个系统每题产出 3.65–4.30 条去重声明，前二声明质量只差 1.25 分。连”说了多少话”都高度同构。
5. 加权方案不影响结论。 单题分里的 0.60 / 0.20 系数与两项奖励/惩罚是在评测前冻结的；论文做了只保留主体的消融，去掉两项 bonus 后四个系统的排序不变，说明这个平台不依赖于特定的权重选择。
最新进展
- 2026-09-04：arXiv:2609.05079 上线（27 页、7 表、5 图），公布 40 盲题 × 4 Agent 的首轮结果，明确报告六组两两比较无一显著
- 2026-09-28 建卡：本卡数值全部取自论文 HTML 全文 Table 1–4 与摘要、第 4 节原文，未依赖聚合站。三项加和自检通过：① 10 个学科题数 3+3+4+4+4+4+5+4+4+5 = 40，与”40 道题”吻合；② 六维度权重 45+15+15+10+10+5 = 100，与评分公式满分 100 吻合；③ 四系统去重声明数 172+149+146+163 = 630，与”724 条原始声明去重后 630 条”方向一致（原始 191+172+172+189 = 724）
局限性与展望
- 只用一个基座、一轮运行。 作者明确把多基座、多种子的研究留给未来工作。当前结论的适用范围是”在 DeepSeek-V4-Flash 这个冻结基座上”，不能外推到”所有编码 Agent 的科研能力都差不多”——只能说四个脚手架在这个基座上没能拉开差距
- 盲是协议级的，不是绝对的。 论文自己承认：无法保证基座模型在预训练中从未见过相关论文，所以主张的是”协议级盲”，而非”绝对无污染”
- LLM 法官虽冻结，仍是 LLM。 29 条条目要求证据锚定在真实执行过的分析与制品上，这大幅压缩了自由发挥的空间，但条目判定本身仍由 GLM-5 完成。验证锚点只能复算关键量，不能替代条目的语义判断
- Cross-dataset generalization 约等于 0 有构造原因。 论文注明这是”单阶段任务下”的结果——任务包里的分析是一次性的，没有为跨数据集验证预留阶段。这个 0 反映的是当前任务形态下的缺失，未必是能力上限
- 40 道题 × 10 个学科，每个学科只有 3–5 题。 学科级别的分数几乎没有分辨力，只能看总量与维度剖面
关联基准
- Terminal-Bench-Science：同为科研 Agent 评测，但走”真实科研工作流 + 任务通过率”路线；本卡走的是”开放主张 + 证据成熟度评分”，且明确排除复现型构造
- SWE-bench Science：科学软件工程场景，评测对象是代码实现而非科学主张
- Era by Eon：同样追求”精确标准答案”，但那是数据可计算得出的确定性答案；本卡的答案空间是开放的，只能靠证据锚定的 rubric 评分
- DAREBench：同样关注”分数可信吗”，但手段是统一运行时 + 基于证据的分数审计；本卡的手段是冻结法官 + 制品锚定