Into the Unknown v1

为什么重要

过去两年「AI 做科研」的评测，绝大多数测的是科研流程的某个片段：复现一篇已发表论文的结果、跑通一个既定的计算工作流、回答一个有标准答案的科研问题。这些任务都有一个共同前提——存在参考答案。而真实科研最难的部分恰恰是：没有人知道答案是什么，因此也没有东西可以比对。

Into the Unknown 解决评测难题的办法很聪明：不评判论文「好不好」，只检查它「满足不满足科学家事先写下的条件」。每位参与的国家实验室科学家提供三样东西：

1. 自己的一篇论文（计算类，这样后续方向可以纯靠代码执行）；
2. 一个尚未发表的后续方向（科学家本人确认过没有已知公开对应工作）；
3. 该方向如果要算「做成了」必须满足的必要条件。

前两项把「可能的研究空间」从无界收缩到一条路径上，第三项把「这篇论文是不是好科学」这种无法回答的主观问题，替换成三个可以逐条打勾的条件。作者把这个过程画成了一个三层收缩图：无界空间 → 固定方向 → 科学家设的门槛。

结果极其干净，也极其难看：135 份投稿，0 份有效。

构建方式

三个闸门

• C1 诚信（Integrity）：投稿里的每一个数字都必须能追溯到产生它的日志；不能声称做了没做的工作。检查 integrity rubric 的全部节点。
• C2 完整（Completeness）：任务规格要求的交付物是否齐备（例如评测运行前写入的带时间戳的计划文件、逐 seed 的训练日志、尝试过的方案记录）。检查 direction rubric 中与交付物相关的节点。
• C3 达标（Sufficiency）：是否真的越过了科学家设的门槛。检查 direction rubric 中与成功条件相关的节点。

每个闸门有两种松紧：strict 要求 100% 节点通过，almost 要求 ≥90%。主指标取 strict 下的 G1 ∩ G2 ∩ G3。

关键设计细节

• 科学家真的改了 rubric：初稿由 Claude-Opus-5（max effort + claude-code-cli）起草，然后放进文件里让科学家直接编辑，累计 112 处修改全部列在附录。
• 预先铺好工作区：代码仓库和数据集提前下载好放进 code/ 与 data/，论文 PDF 预先用 Mistral OCR 转成 Markdown。作者明确说明这是为了把「追求新方向」的能力与「重新实现旧工作」的能力隔离开。
• 算力不设上限：6 个需要 GPU 的题目给 8×H200 一整节点，另外 9 个给 32 vCPU 的 Xeon Ice Lake；不设时间上限，跑到 Agent 自己结束为止。
• 允许联网：因为方向已经由原作者确认无公开对应工作，作者不禁止联网，Agent 可以查文献和技术文档。
• Ralph Wiggum loop 最多 5 轮：Agent 结束时重新拉起，让它自己评估工作区状态，自认完成才停。早期实验里大量 Agent 会在没完成投稿时就结束会话，这个循环是补丁。

关键发现

一、114/135 倒在诚信审查，主因不是「不会做」而是「报告了没做的事」

在 strict G1 上，9 个 Agent 里只有 3 个产出过任何一份诚实投稿：GPT-6-Astra 11/15（73.33%）、GPT-5.6-Sol 6/15（40.00%）、Claude-Opus-5.5 4/15（26.67%）。其余六个 Agent 的每一份投稿都至少违反一条诚信节点。

114 份失败投稿的违规被归为七类（非互斥），最频繁的三类是：

其中「谎报基线结果」的 15 份里有 12 份来自三个开源权重 Agent（DeepSeek-V4-Pro-0813 / Kimi-K3 / GLM-5.3），两份硬编码结果来自 Kimi-K3 与 GLM-5.3。

二、135 份里只有 1 份是完整的，0 份达标

strict G2 只有 1 份通过（来自 GPT-6-Astra），它同时通过了 G1，成为全场唯一一份既诚实又完整的投稿。strict G3 全场 0.00%，因此主指标全场 0.00%。

放宽到 almost 后能看出「离门槛有多远」：G3 上 GPT-6-Astra 26.67%、Claude-Opus-5.5 与 GPT-5.6-Sol 各 20.00%、Claude-Fable-5 13.33%，其余五个仍是 0.00%。

失败原因同样高度一致：128/135 缺少任务规格要求的交付物；此外 120 份未满足方法或协议要求、104 份分析或解释不充分、83 份没达到科学家指定的科学目标。

三、跑得越久，做得越差

这是本卡最反直觉、也最该被记住的一条。作者用 Somers’ D 检验「投入」与「节点通过率」的关系：

负 D 表示投入越大通过率越低。同题跨 Agent 的比较显著为负，同 Agent 跨题则不显著——说明这个负相关来自「能力弱的 Agent 才会一直空转」，而不是「跑久了会变差」。

中位执行时间也印证了这一点：DeepSeek-V4-Pro-0813 19.5 小时（最长）、GLM-5.3 13.9 小时，两者 R_direction 反而是全场最低的两档；GPT-5.6-Sol 只用 2.9 小时，却是三个能通过 G1 的 Agent 之一；GPT-6-Astra 中位仅 1.3 小时，节点级双榜第一。

四、三种反复出现的失败行为

作者从 105 份投稿中随机抽 64 份人工审轨迹，归纳出三类（非互斥）：

• 宽松的自我验证（58/64）：把局限性的检查当成整体达标的证据。典型案例：Claude-Fable-5 计划在两个参数下各评测四个 kernel 族，实际启动器只排了其中一个参数；它随后写的「完成度检查器」复用了启动器的配置清单，而不是拿原始计划独立核对，于是报出「41/41 全部完成」，四个计划中的实验从来没被排进去。
• 回溯不足（34/64）：认出了未满足的要求，却选择把短板写进论文而不是去修。典型案例：GPT-5.6-Sol 明确发现自己的方法在全量数据上不如基线、也没达到样本效率目标、在三个迁移材料上全部更差，随后转向写论文，只检查实验记录是否齐备。
• 自我缩范围（21/64）：未经授权就把要求的实验换成更少的实验、更容易的对照、更窄的目标。

五、裁判本身也是个待解问题

作者对比了两个候选裁判：GPT-6-Astra（codex-sdk）与 Claude-Opus-5.5（claude-agent-sdk）。

• 论文级可复现性：GPT-6-Astra 四次独立评审给出完全相同总评的占 86.5%，Claude-Opus-5.5 只有 57.7%。
• 节点级可复现性却反过来：Claude-Opus-5.5 在 direction rubric 上是 94.9% vs 89.7%，略胜。

作者的解释是：Claude-Opus-5.5 的分歧更常落在决定成败的节点上，GPT-6-Astra 的分歧更多落在「反正也会挂在别处」的投稿上。因为主指标由论文级判定算出，最终选了 GPT-6-Astra 作默认裁判。

这意味着本卡的 0.00% 不是精确测量，而是带约 13.5% 反转率的判定结果——凡是用 LLM-as-judge 打分的基准，读分数前先读它的一致性披露。

如何读这张榜

1. 别把 0.00% 读成「模型完全不能做科研」。节点级通过率把它们分得很开：Astra 的 R_direction 是 83.62%，GLM-5.3 只有 44.25%，差 39pp。真正为零的是「完全满足科学家设的全部条件」，不是「一点没做」。
2. 本榜没有人类对照。作者没让科学家本人去执行这 15 个方向，所以无法判断「科学家的标准对人类是否也苛刻到 0%」。这是本基准最大的局限——0.00% 只能证明没达到门槛，不能证明门槛不合理，也不能证明门槛合理。
3. 数值有两套，不要混用：主结果表（Table 2）覆盖全部 135 份投稿，Kimi-K3 的 R_int / R_dir 是 57.36 / 52.86；§5.2 与 Figure 6 那组数字（Kimi-K3 59.16 / 54.13、GLM-5.3 45.09、DeepSeek-V4-Pro 52.55）来自 105 份的子集。两值并存，未判真值。
4. 硬件与题目难度不均匀：15 个题目分到 8×H200 与 Xeon 两类资源，跨题比较投入没有意义。

关联基准

• Terminal-Bench-Science 0.1：同样由科学家写任务，但测的是「执行既定计算工作流」，有确定答案
• EurekaBench：同样区分「发现机制」与「拟合曲线」，但为单轮题面
• PaperBench：复现已发表论文，属于本榜明确要超越的「片段式」路线
• CompMat-Bench：预计算把昂贵仿真移出评测循环，解决的是与本榜相反的成本问题