大模型前沿动态 · 2026年10月08日：Nemotron 同基座拿下 IOI 与 IMO 金牌，GPT-6 系统卡把 High 标签拆回四条阈值

四份 10 月 7 日的一手材料摆在一起，讲的是同一件事：后训练这笔账正在被逐项拆开，拆开之后，有几笔功劳原先记错了人。

NVIDIA 用同一个 Nemotron 基座拿下 IOI 与 IMO 两块金牌，功劳记在四段递进上

事件概述

10 月 7 日，NVIDIA 在 Hugging Face 博客公布 Nemotron 系列在两项国际奥赛上的结果：IOI 2026 拿到 535.4/600，IMO 2026 拿到 30/42。前者由 Nemotron-3-Ultra-CC 配 SFT 与 GenCorrect 推理策略完成，超过 361.12 的金牌线和 498.27 的人类最高分；后者由 Nemotron 3 Ultra 的通用版、SFT 版、RL 版三个 checkpoint 组成的 generate-verify-refine 系统完成，超过 29 分的官方金牌线，六道题里四道拿到满分。IOI 那次是与人同场条件的前瞻性实跑，同样的时间限制、联网限制与提交次数限制，属非官方、无人监督的基准，不计入官方排名；IMO 的证明由官方阅卷人评分。

技术解析

把分数按来源拆开，这张稿子的信息量就出来了。竞赛编程一侧先 curated 22,000 道题与合成推理轨迹，训出两个专家：Nano（总参 30B、激活 3B）走 SFT + RL，Ultra-CC（总参 550B、激活 55B）只走 SFT。IOI 2025 上的递进是四档：Nano 后训练前 130 分，SFT 后 280 分，再加 RL 到 291 分，接上 GenCorrect 的迭代式生成—评估—改进后跳到 468 分，越过 438.3 的金牌线；Ultra-CC 在同一套推理策略下到 502 分。

两档规模的适配方式并不相同。Nano 的增益大头来自 SFT，RL 只补了一小截；对更强的 Ultra，一个 SFT epoch 就足以在 IOI、ICPC、LiveCodeBench Pro 上全面超过走完整个后训练流程的 Nano。IMO 一侧的配方更细：SFT 语料是 414,890 条质量过滤样本、覆盖 15,818 道证明题，内容不只有最终答案，还含证明生成、改进、验证与元验证，模型因此学会了构造论证、找缺口、回应批评、判断证明是否完整；RL 只在 9,597 道位于模型能力前沿的题上训。开发实验里两个 checkpoint 的长处是错开的——SFT 版在第一轮搜索中最强，RL 版是单 checkpoint 整体最好的那个，最终系统三个模型一起上。整个系统跑在纯自然语言里，没有形式化证明器，没有外部工具，也没有联网。

行业影响

这块牌子最值得抄走的是它把「微调的账」和「推理时算力的账」放在同一条轴上量：130、280、291、468 四个数不是四条曲线，是同一模型的四层加料，任何一层单独拿出来都不够。作者的结论写得很直白：奖牌既不是微调单独拿下的，也不是暴力采样单独拿下的，来自模型、数据、推理环三者的一起设计。对开源社区的另一种含义是，专业化这条路已经被拆成可复用的四步配方（强基座—领域题与轨迹—SFT/RL—生成评估改进的推理环），并且 SFT 与 RL 的 checkpoint、两份训练数据、200 题的 Nemotron-IMO-Bench、IMO 推理管线与提交的证明都放了出来。

相关链接

• One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO
• IMO 论文 arXiv:2609.10712
• IOI 论文 arXiv:2609.02849

OpenAI 的 GPT-6 十月系统卡：High 这个标签下面，四条指标过了两条

事件概述

同在 10 月 7 日，OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna 十月版的系统卡。按 Preparedness Framework，两个模型在 Cybersecurity 与 Biological and Chemical 两个域都被定为 High，AI Self-Improvement 未达 High 阈值，与 GPT-5.6 世代的判定一致，沿用同一套护栏。

技术解析

生物与化学的 High 阈值表给了四条指标的明细，读完这张表才能知道 High 是怎么定出来的。Multimodal Troubleshooting Virology 的 pass@1 阈值 31%，Sol 51.68%、Luna 48.13%，两条都过；ProtocolQA Open-Ended 的 pass@1 阈值 54%，Sol 25.62%、Luna 34.57%，两条都没过；Tacit Knowledge and Troubleshooting 的 cons@32 阈值 80%，Sol 72.45% 没过、Luna 94.00% 过；TroubleshootingBench 的 pass@1 阈值 36.4%，Sol 41.83%、Luna 41.46%，都过。四条里 Sol 过两条、Luna 过三条，且 Luna 在两条指标上高于 Sol，最终判定仍是「两个模型都按 High 处理」。Critical 阈值那三条差得更远：SHP2 蛋白功能预测的平均 R² 阈值 0.60，Sol 0.23、Luna 0.13；冠状病毒—ACE2 细胞进入筛选的综合分阈值 0.75，Sol 0.349、Luna 0.36；噬菌体—质粒共进化的负对数似然阈值 ≤9.40，Sol 12.95、Luna 10.70。Luna 因在 High 档全部低于 GPT-5.6 Sol，未单独做 Critical 测试。网络安全一侧，ExploitBench 在最大推理档下 Sol 82.62%、Luna 44.66%，SEC-Bench Pro 上 Sol 68.85%、Luna 48.50%，GPT-6 Astra 是 85.4%。

这份卡还把口径本身写进了正文。安全类评测一律在最低推理档跑，理由是覆盖绝大多数用量；能力类评测在最高推理档跑，取的是能力上界。HealthBench 用长度调整后的分数汇报：2,000 字符不调整，之后每多 500 字符扣分，HealthBench Professional 扣 1.47 分、HealthBench 扣 2.99、Hard 扣 3.92、Consensus 扣 0.20。GPT-6 Sol 的 HealthBench Professional 是调整后 55.2、未调整 62.2、平均长度 4,360 字符，GPT-5.6 Sol 是 54.0（56.6，2,894）；HealthBench 上 GPT-6 Sol 的调整后 52.1、未调整 55.7，低于 GPT-5.6 Sol 的 55.0（52.1，1,514）——回退主要落在长度罚项上，未调整的分数反而更高。OpenAI 自己也写了：HealthBench 运行已超过一年，接近前沿模型的噪声上限，建议改用 HealthBench Professional 继续量进展。

回退部分同样给得具体。相对各自的 GPT-5.6 版本，Sol 在 standard self-harm 上显著回退，Luna 在 self-harm、gore、sexual content 三类上显著回退；未成年人六类评测里，两个模型在 age-restricted content、sexual content、emotional reliance 三类显著回退，Luna 多一条 gore。emotional reliance 那条经复核是评测对「bro」「bestie」这类昵称过度敏感，用户明确要求时并不算违规。多轮越狱上，十月版的点估计比九月版略低，95% 置信区间大幅重叠，两个模型在每个攻击者预算下都高于 GPT-5.6 Sol。提示注入的 instruction hierarchy 评测已经饱和，Sol 99.99%、Luna 99.79%。Blocker Deception 这一项替代了此前已被饱和的 Coding Deception，两个模型的披露失败率显著下降，其中 Luna 有 0.25% 样本因基础设施问题提前退出、被排除在分析之外。

行业影响

三处口径值得当成通用读法。阈值标签是聚合判断，不等于逐项达标，读系统卡必须翻到阈值表那一层。推理档位是结论变量，安全与能力两套口径各取一端，同一份卡里两组数字不可直接对读。长度罚项把一次「回退」的归因从模型能力改成了输出习惯，这类调整项一旦存在，榜单分与用户体验的对应关系就得重新校准。

相关链接

• GPT-6 Sol and GPT-6 Luna: October 2026 update（OpenAI Deployment Safety Hub）

BehaviorTrace：在线 RL 里「哪条 rollout 教了它」，多数是混淆不是信号

事件概述

arXiv 2610.10422（10 月 7 日提交，Amit Nautiyal 单人署名）问两个问题：强化学习教给模型一个新行为之后，能不能找到教会它的那些训练 rollout；某个归因方法说找到了，又凭什么相信。作者选择在 GRPO 在线微调里植入一个成因已知的行为，再拿这个地基去检验归因，并放出 BehaviorTrace 这个评测框架，含全梯度 sketching、植入行为设置，以及梯度大小、流畅度、headroom、跨种子与跨生成采样的四类对照。

技术解析

Qwen2.5-1.5B 上跑三个种子，结果大多是否定的。一个完全不带行为目标、只按梯度大小给训练步排序的对照，达到了 4.2 到 4.5 倍 chance，在三个种子中的两个上追平或超过了最好的定向估计器——也就是说，看起来是「归因命中」的信号，光靠梯度大小就能造出来。在饱和 checkpoint 上，模型流畅度预测行为标签的能力不输所有参与比较的梯度方法。把流畅度控制住之后，逐条 rollout 的结果随种子变、随生成采样变，单次运行定不了论。

三个种子上唯一都站得住的信号是：触发 token 的梯度，与在行为真正发生的位置上构建的目标对齐。作者测了现有估计器，包括 GAS（重归一化的 TracInCP）与一个 TRAK 风格的估计器，没有提出新估计器，把结论转成了一份归因评测检查清单。

行业影响

训练数据归因、影响函数、rollout 级溯源这类工作，最近常被拿来支撑「我们定位到了导致某个行为的训练样本」。这篇给出的判定法是先造一个成因已知的植入行为，再让所有估计器对着它报，然后问不带目标的廉价对照能不能拿到同样量级的信号。这里的答案是能，而且拿到 4.2 至 4.5 倍 chance。缺了这一层对照，逐条 rollout 的排名就只能当假设来读。

相关链接

• Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL（arXiv:2610.10422）

On-Policy 蒸馏教得会技能，教不会知识

事件概述

arXiv 2610.09639（同为 10 月 7 日提交，作者 Yixuan Tang、Yi Yang）把 on-policy 蒸馏（OPD）的两类收益分开量：学生到底拿到了新的事实知识，还是拿到了多步推理需要的组合技能。

技术解析

做法是建一个受控合成框架，先测出学生的初始能力，再独立控制教师多出来的事实、多出来的组合技能，或两者都给。四个模型、三个家族上的结果是一致的：reverse-KL 的 OPD 稳定迁移组合技能，能泛化到没见过的推理结构；事实知识的迁移量极小。把配方拆开后找到了不对称的来源——把 reverse KL 换成 forward KL，事实迁移就恢复了；学生自己的 rollout 改善的是多步推理的执行环节。近期事实问答与竞赛数学上的表现同样不对称，推理侧有明显增益，事实记忆没有扩张。

行业影响

结论可以直接翻成工程约束：on-policy 蒸馏不扩张模型的参数化知识，它教的是组织和组合已有知识的能力。指望靠蒸馏把教师的事实补给学生，方向就错了；要补事实，得换目标函数（forward KL），或者换手段（检索、继续预训练）。这条边界也解释了为什么蒸馏收益在推理密集型任务上明显、在知识密集型任务上常常平淡。

相关链接

• On-Policy Distillation Teaches New Skills but Not New Knowledge（arXiv:2610.09639）

小结

今天这四份材料，三份在拆账，一份在拆标签。Nemotron 把金牌拆成基座、数据、后训练、推理环四层，指出任何一层单独都拿不到；OpenAI 的系统卡把「High」这个标签拆回四条阈值指标，两条没过线仍然成立；BehaviorTrace 把「归因命中」拆成信号与两类廉价混淆，只留下触发 token 梯度这一个站得住的量；OPD 那篇把蒸馏收益拆成技能与知识，后者几乎为零。合起来是一套可以直接套用的判定法：看到一个「X 带来了 Y」的说法，先问对照组在哪、口径是哪一个、换一种读法结论还在不在。