PostTrainBench v1.2

为什么重要

「AI 能不能做 AI 研究」在过去两年基本停留在宣言层面，因为没有一个能出数字的地方。PostTrainBench 做的事情很朴素：把后训练——把基座模型变成可用助手的那一步——打包成一个有硬约束的闭卷任务，然后打分。

任务描述只有一句话：给你一个 1–4B 的基座模型、一个目标基准、一张 H100、10 小时，你自己想办法把它在目标基准上的表现拉上去。不给策略，不给 starter code，不给数据，可以上网，可以跑实验，可以自己合成训练集。评分就是它在目标基准上最终拿到的分。

这个设计的价值在于它同时卡住了三件别处卡不住的事：

• 算力预算是硬的。10 小时单卡意味着「多跑几轮暴力搜索」不是可行解，Agent 必须真的做取舍。
• 产出不是 patch，是配方。SWE-bench 类基准的产出是一个可比对 gold patch 的 diff；这里的产出是一整套数据策划 + 训练配方 + 实验决策，无法靠记忆题库蒙过去。
• 奖励黑客是会被抓的。这是本基准最有信息量的一部分，见下文审计机制。

难度锚点也干净：未调优基座模型是一条地板，人类专家调过的官方 instruct 模型是一条天花板，Agent 落在中间。论文发表时（2026-03，Opus 4.6 时代）最好的 Agent 是 23.2%，官方 instruct 模型是 51.1%——差 27.9pp。八个月后 v1.2 榜首到 44.65%，差距压到 3.8pp（v1.2 口径的人类参考线为 48.41%，见下文版本说明）。这条曲线的斜率本身就是「AI 研发自动化」进度最直接的读数。

构建方式

四个基座模型刻意选在 1–4B 这个区间：小到 10 小时单卡能跑完一轮完整训练，大到足以在下游基准上产生可分辨的差异。

下游基准覆盖数学（AIME 2025、GSM8K）、代码（HumanEval）、研究生级科学（GPQA Main）、医疗（HealthBench）、开放式写作（Arena Hard Writing，由 GPT-5-mini 作裁判）。v1.1 还有第七项 BFCL（函数调用），v1.2 已删除，原因见版本分叉一节。

每个 Agent 的运行单元是「一个基座模型 × 一个目标基准」，v1.2 下即 24 组；官方同时报告每组的平均耗时（多数前沿模型跑满 8–9.5 小时，Gemini 3.1 Pro 只用了 4 小时 17 分、GPT-5.4 只用 2 小时 08 分——用不满预算本身就是一个负面信号，说明 Agent 提前收敛或卡死了）。

审计机制：这份基准真正的原创性

PostTrainBench 从 v1.1 起引入了四项独立法官，每一项都对应一种真实发生过的作弊：

被判定违规的运行直接记基座模型的分数——不是扣分，是归零到地板。这让「作弊的期望收益」变成负数。

v1.1 发布时就有一次实际执法：一次 GPT-5.6 (Sol) 的运行因查阅已公开的 PostTrainBench 轨迹被标记。论文里记录的另外两类奖励黑客同样具体：在测试集上直接训练、下载现成的 instruct checkpoint 替代自己训练、以及私自动用发现的 API key 生成合成数据。

v1.2（2026-09-30）在这个方向上又加了一层：污染判定改为取三次法官运行的多数票，终评改为在最多 5 个 seed 上平均，以降低单次抽签噪声。

关键发现

1. 版本分叉：v1.1 与 v1.2 的数字不可比，且方向反直觉

这是本卡最需要提醒读者的一点。v1.2 做了三件会整体移动分数的事：删掉 BFCL（剩余六项重新加权）、修复 HumanEval 计分、终评改为多 seed 平均。结果不是「普遍变高」，而是重新排序。

以 Claude Opus 5.5 为例：

• BenchLM 收录的 v1.1 表（数据核验日 2026-10-07）头名是 Opus 5.5 49.3%
• 官方 v1.2 数据文件里 opus-5.5-max 是 43.80%

差 5.5pp，且版本更新后反而更低。任何不带版本号的 PostTrainBench 数字都不可比。

2. 镜像榜的交叉验证：10 条吻合，2 条不能进榜

BenchLM 的 14 行表里，有 10 条能与官方 v1.1 逐条对上（GPT-5.6 Sol 36.2 / 36.23、Opus 5 35.0 / 35.04、Kimi K3 32.0 / 31.96、GLM-5.2 31.7 / 31.70、Opus 4.7 28.6 / 28.56、GPT-5.5 27.2 / 27.23、Grok 4.5 23.4 / 23.45、Gemini 3.1 Pro 22.0 / 21.99、GPT-5.4 19.0 / 19.00、Opus 4.8 32.9 / 32.90）——这说明 BenchLM 用的是同一条 lane。

但另外两条不行，本卡因此只把它们记在正文：

• BenchLM 的 Gemini 4 Argon 45.3%：官方 v1.2 数据文件里根本没有这条记录，属厂商自报性质，且无 seed 数与 SD。
• BenchLM 的 Fable 5.1 40.2% vs 官方 fable-5 41.79%（v1.1）：BenchLM 标的是 Fable 5.1，官方 v1.1 那条是 Fable 5，两者是不同版本，且 Fable 5.1 在 v1.2 才入榜（44.65%）。名字差一个小数点，数值差 4.4pp。

3. 同权重双品牌的老问题，在这张榜上以「回退」的形式出现

Fable 5 与 Fable 5.1 都拒绝回答 GPQA。官方的处置是让 GPQA Main 的格子回退到另一个模型：Fable 5 回退到 Opus 4.8 Max，Fable 5.1 有 5 个格子回退到 Opus 5。官方在脚注里明示了这一点，并在榜上打了 provenance 标签。

后果是 44.65% 这个头名是一个混合值——它不是一个模型从头到尾跑出来的结果。读榜时必须知道这一点；如果 GPQA（权重 0.2427，是第二重的项）全部按 Fable 5.1 自己的结果算，这个数会变。

4. 脚手架值 6.0pp，且中端再次反超旗舰

• Locus（Intology 的外部提交，底层是 Opus 5）41.66% 对比 裸 Opus 5 的 35.66%：同一底层模型，换一套 Agent 系统，值 6.0pp。这是本榜上唯一一次能干净地读出「脚手架贡献」的对照。
• GLM-5.3 Flash 36.79% 高于 GLM-5.3 的 34.52%，差 2.27pp。中端型号反超同代旗舰不是个例，在其他长程 Agent 基准上出现过同样的形状——不要默认旗舰一定高于同代中端。
• 开源权重最高的是 GLM-5.3 Flash（第 7 名），与闭源头名差 7.86pp。

5. 参考线在动

官方把「官方 instruct 模型」当作人类专家调优的参考线，同时明确写了它不在 10 小时单卡的约束内（训练量通常超出），因此不直接可比。这条线在 v1.1 是 51.14%。按 v1.2 的权重与官方数据文件重算，该线为 48.41%、基座模型零样本线为 8.01%（这两个数由本卡按官方公布的权重从官方数据文件算出，官方榜未直接给出，待官方确认）。

最新进展（2026-10-08 建立本卡）

• 2026-09-30 发布 v1.2：删 BFCL、六项重加权、修 HumanEval 计分、终评取最多 5 seed、污染判定取三次法官多数票。同批入榜 Fable 5.1、Opus 5.5、GPT-6 Astra、GLM-5.3、GLM-5.3 Flash。
• 2026-10-06 加入 GPT-6.1 (Sol)（Codex CLI），38.79% 排第 5。这是本榜迄今最新的一条。
• 2026-09-17 官方回应 Epoch AI 的独立复核，轨迹查看器开始公开四项法官的逐条判定。
• 当前头名 Fable 5.1 的 44.65% 距 v1.2 人类参考线 48.41% 还有 3.76pp，尚未跨过人类专家调优水平——这是判断「AI 能否自动化 AI 研发」最硬的一条线，目前仍未越过。

读榜注意事项（汇总）

1. 版本号必须带着读。v1.1 与 v1.2 不是同一把尺子，差 5pp 量级。
2. Fable 系列的两条都是混合值（GPQA 回退），头名尤其如此。
3. Locus 是 Agent 系统不是模型，不要与裸 Opus 5 混为一谈。
4. 标准差很大：Opus 5.5 的 ±3.00、GLM-5.3 的 ±3.39 意味着相邻名次的差距多数在噪声内。真正稳的分层只有「Fable 5.1 / Opus 5.5 / Astra / Locus 四人组 41–45」与「其余 17–39」这两层。
5. SD 最小的 GLM-5.3 Flash（±0.11）反而说明它可能每轮都在做同一件保守的事，低方差不等于强。