EvalResearchBench (ERB) v1

为什么重要

递归自我改进（RSI）有一个绕不过去的经济学问题：每一次迭代都要跑一遍完整评测，而完整评测很贵。人类专家的解法是挑子集、造小型套件——用 60 道题的精简榜去逼近 14 个完整基准的结论。这件事能不能自动化，直接决定了 RSI 的迭代速度上限。

EvalResearchBench（ERB）就是把这个能力本身做成了基准。它不问”你的模型有多强”，而问：

你能不能在给定预算内，造出一个能替代真榜的评测器？

这里最关键的设计是封存组。researcher 只能看到 6 个目标基准（开发集）和 4 个候选模型的 API；另外 8 个目标基准和 9 个候选模型在提交冻结之前完全不可见。所以它不是”背下真榜”的考试，而是“你造的尺子，能量准你没见过的东西吗”的考试。

结论对当下所有”自建内部评测集”的团队都有效：

• 最好的评测器只能复现目标榜约 75% 的成对顺序（Grok 4.7 的 PA 74.87%）；
• 而目标榜之间彼此的一致率上限也只有 91.20%——也就是说，“真榜”自己就不是一把完美的尺子；
• 分数一致性（Score）比排序一致性（PA）难得多：全场最高只有 22.79，而随机抽 120 道题的基线（Random120）PA 就有 68.29%。

构建方式

三域 × 开发/封存的 2×2 切分

注意 reasoning 在开发集里只有 1 个目标（HLE）。这个不平衡后面会咬人。

researcher 的完整任务链

给定一个目标基准的材料、开发参考、候选 API，以及固定的时间预算和 API 预算，researcher 要：

1. 从公开任务里选取或合成题目；
2. 实现 grader；
3. 在 pilot 测试里根据反馈修订题目与 grader；
4. 冻结一个可执行评测器，对 coding / co-work / reasoning 三域打分。

封存的目标参考与候选 API 在冻结之后才解禁。

两个指标，含义很不一样

• Score：100 × 2Cov(x,y) / (Var(x) + Var(y) + (x̄ − ȳ)²)。这是一个带系统偏差惩罚的一致性相关系数——不只是看两组分数的相关性，还惩罚”整体偏高/偏低”和”尺度不一致”。所以它会给出负值：Astra 与 Opus 5 在 coding 域分别是 −0.20 与 −0.31，插补的 Fable 5 整体 −13.18。
• PA：候选模型两两配对的排序一致率。只看方向，不看幅度。

两者必须一起读。后面会看到：一个评测器可以 PA 很高而 Score 很低（Random120 就是这种：PA 68.29，Score 13.10）。

关键发现

一、75% 对 91%：天花板不在 Agent 身上

论文给出的对照组非常关键：14 个目标基准彼此之间的成对一致率，全目标平均只有 91.20%（coding 92.36%、co-work 88.72%、reasoning 93.03%）。

也就是说，即便你造出一个”完美等价于目标榜平均意见”的评测器，也只能到 91%。最好的 Agent 做到了 74.87%（Grok 4.7），相当于拿到了理论上限的 82%。这个基准的天花板是被”真榜自己互相打架”这件事压低的，不是被 Agent 的能力压低的。

对实践的含义：当你发现自造评测集与公开榜不一致时，先量一下公开榜之间的不一致率，很多时候差距本来就存在。

二、没有哪个 researcher 在所有指标上领先

两种形状泾渭分明：

• Astra / Opus 5 / Fable 5.1 型：reasoning 强（36–38）、coding 几乎是零甚至负（−0.20 / −0.31）。它们造出来的评测器在推理题上与目标榜高度一致，但在编码题上连相关性都没有。
• Grok 4.7 / GPT-5.6 Sol 型：coding 强（23.28 / 19.81）、reasoning 弱（14.10）。Sol 更极端，co-work 只有 3.48。

“会做题的模型”与”会造评测的模型”不是同一种能力，而且在三域上几乎正交。

三、开发集第一名 ≠ 封存集第一名

在开发集上排名第一的 Fable 5.1，在封存集上掉到第三；开发集排第三的 Grok 4.7 在封存集上登顶。

这条结论对任何”用可见基准调内部评测集”的做法都是警告：在开发集上把一致性调高，很可能是在过拟合那 6 个可见目标，而不是学会了造好尺子。

四、随机抽 120 道题就能拿到 68.29% 的 PA

论文设了一个 Random120 基线：不做任何智能选题，随机抽 120 道题组一个评测器。结果：

• PA 68.29%——只比全场最好的 Grok 4.7（74.87%）低 6.6pp；
• Score 13.10——只有 Grok 22.59 的 58%，但仍高于 DeepSeek V4 Pro（10.49）。

这说明 PA 是一个门槛很低的指标：只要题目来自同一个大致分布，随机抽样就能保住大部分成对顺序。 真正难的是 Score 里那一项幅度与偏差的一致性。任何只报”排序一致率”而不报一致性相关的评测设计工作，都可能高估了自己的质量。

另一条对照：Fable 5 的评测器因为部分题目未完成而做了插补（imputed），Overall Score −13.18、PA 42.07——比随机抽样还差。造得不好的评测器是负资产。

五、最便宜的那个，PA 最高

Table 12 给出四个冻结产物的题目数与执行成本：

最便宜的 Grok 4.7（$8.63）拿到了全场最高的 PA 74.87%，最贵的 Fable 5（$118.02）Overall Score 只有 −13.18。 单候选评测成本上，Grok 是 $1.59，Fable 5 是 $26.55，相差 16.73 倍。

论文原话：“the evaluator with the lowest recorded execution cost attains the highest pairwise agreement.” 成本与质量在这里是完全脱钩的，甚至反向。

题目的组织方式也能解释一部分：Grok 造的 107 题里 62 道 coding、20 道 co-work、25 道 reasoning，但权重极不均匀（6 道 co-work 题占了 co-work 域权重的 93.87%，3 道 HLE 题只占 reasoning 的 3.60%）；Fable 5.1 的 110 题则是 coding/reasoning 等权、co-work 里 IF 权重 1 而 GDPval 权重 1.5。权重的设定方式本身就是一个未被评分的设计自由度。

六、题量决定稳定性，10 道题的误差是 90 道的三倍

Table 17 用 Astra / GLM / K3 三个 researcher 做了题量扫描：

从 10 题加到 90 题，Score 的标准差降到约 1/3。 这是一条可以直接抄的工程结论：精简评测集低于 30 题时，Score 类指标的噪声会盖过模型间的真实差距。

七、秩相关与数值一致性是两件不同的事

Table 20 把 Score 拆成秩相关 r̄ 与偏差修正项 Cb̄：

• Astra：coding r̄ 0.079（几乎没有秩相关）、Cb̄ 0.508；reasoning r̄ 0.708、Cb̄ 0.505。
• Grok 4.7：coding r̄ 0.511（全场最高）、Cb̄ 0.393；reasoning r̄ 0.591、Cb̄ 0.302。

Astra 在 coding 上连排序都对不上（r̄ ≈ 0.08），它那 −0.20 的 Score 几乎全部来自偏差项；而 Grok 在 coding 上排序能力强（0.511）但数值尺度与目标榜差得远（Cb̄ 0.393）。

两个 researcher 造出的评测器可以是”排序对但分数不对”与”分数对但排序不对”两种完全不同的失败。

八、Agent 会修，但修不干净

pilot 反馈确实让 Agent 修好了不少任务和 grader，论文列出的三类残留问题值得单独记：

1. 截断答案——冻结评测器会把长回答截断，系统性低估能写长答案的模型；
2. 耗尽评测预算——预算用完后部分候选题没有分数；
3. 少数几道题主导一个域的分数——权重失控，等价于用 6 道题代表整个 co-work 域（Grok 的情况）。

局限

• 开发集 reasoning 只有 1 个目标（HLE），导致 reasoning 域的开发/封存相关性为 0.000（Table 8），这一域的结论基本只能看封存集。
• 9 个 researcher 里 8 个是前沿模型、1 个是插补条目，且每个 researcher 只冻结了一份产物，没有重复采样。
• Score 的量纲不易解释：它是 CCC 的变体，负值不代表”反相关”，往往只是尺度/偏移失配。
• Random120 的具体抽样规则论文未详述，68.29% 这个基线应视为粗略参照。
• 目标基准本身多来自聚合站镜像（如 Harvey LAB-AA、AA-Briefcase、ProgramBench (Vals)），“真榜”这一侧也带有各自的 harness 与更新时点差异。