NVIDIA 摊开 SFT 前那 500B token 的配方、FEB-30 把记忆评分从「答对没」换成「存对没」、LMU 用线性可读性区分活性与惰性事实

四件事落在同一个动作上：过去只能端到端看结果、中间过程无从下手的环节，各自拿到了一把能单独读数的尺子。

NVIDIA 公开中间训练配方：SFT 之前那几百 B token 的黑箱被摊开

事件概述：10 月 15 日，NVIDIA 团队在 arXiv 提交《Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe》（编号 2610.22019，14 位作者，通讯邮箱为 nvidia.com）。前沿编码模型的训练流程里普遍存在一段介于预训练与后训练之间的「中间训练」，技术报告往往只写一句规模，这篇论文把数据怎么建、怎么筛、怎么配比，以及每个设计选择的消融结果全部公开，并在 Nemotron 3.5 Lightning-30B-A3B 与 Nemotron 3.5 Super-120B-A12B 两个尺寸上验证。

技术解析：问题出在上下文长度上。预训练为了算力效率跑在 4K–8K（Nemotron 为 8K，末尾再拉长到 1M），而软件工程真正有价值的自然数据——整仓代码、提交历史、PR、构建日志——动辄几万到几十万 token，塞不进预训练，也装不进那段很短的长上下文阶段；把智能体轨迹直接混进预训练又牵扯工具响应要不要算损失的问题。SFT 这边多为合成对话数据，过长的 SFT 阶段还会压低模型后续从 RL 里能拿到的收益。中间训练的做法是在 256K 上下文上跑几百 B token，主体是自然数据，轨迹只占一小块。

配方的构成（论文 Table 1）是：Issue–PR 216.9B 占 40.8%、仓库 104.1B 占 20.0%、智能体轨迹 39.4B 占 10.0%、diff 数据 16.0B 占 3.0%、构建与 CI 日志 6.5B 占 1.2%、预训练回放约 2.0T 占 20.0%（只跑 0.05 个 epoch）、长上下文数据 67.4B 占 5.0%。仓库不是照单全收：先对 14 种语言建 import 图，只保留至少 20% 代码文件与同仓其它文件存在 import 边的仓库（Ruby 放宽到 10%），再按依赖顺序而非字母序序列化，凑出约 104B token。论文给了一个有意思的判别——依赖序会让强模型的 bits-per-byte 更低、弱模型更高，等于把跨文件结构这道分水岭显式暴露出来。轨迹部分覆盖十多种 scaffold（OpenHands、OpenCode、SWE-agent、Codex、Claude Code、Terminus 等），只对 assistant turn 算损失，工具响应被 mask 掉，因为连工具响应一起训会在 SFT 之后拖累结果。

收益在完全相同的 full SFT 之后测量。N-3.5 Lightning 上 500B 中间训练 token 把 SWE-bench Verified 从 60.7 抬到 64.5、Multilingual 从 55.8 抬到 62.8、Pro 从 32.0 抬到 35.5，四个基准的 pass@k 全部上涨 2.3–4.7 点，说明涨的是能解的范围而非只是稳定性。N-3.5 Super 上 280B token 把难度最高的 DeepSWE 从 11.7 抬到 15.7（short SFT 下 6.4→12.4），SWE-bench Verified 72.9→74.3，BrowseComp 涨 3 点；Multilingual 与 Pro 在 full SFT 后反而低 1.1 和 2.1 点，论文明确不把它读成一致效应。消融显示去掉轨迹、只留自然数据，full SFT 后 SWE-bench Verified 涨不到 1 点，完整配方涨 3.0、2.5、6.6 点（Verified / Multilingual / Terminal-Bench）；diff 数据在 10B token 的对照里把 LoCoDiff 精确匹配从约 1% 拉到 29.8%。还有一个副作用值得一提：SWE-bench Pro 里因填满 256K 上下文而失败的 rollout 比例从 4.1% 降到 0.6%。

评估协议本身也是这篇的贡献之一。bits-per-byte、LoCoDiff、RepoBench 这些 base 模型代理指标确实随中间训练一起变好，但论文说它们不足以预测后训练结果，于是改用固定预算的 short SFT（33B）与 full SFT（100B）跑完再比。跨 harness 鲁棒性上，N-3.5 Super 在 65B token + short SFT 后于所有被测 harness 上均变好，SWE-bench Verified 平均 +8.6 点、Terminal-Bench 2.1 平均 +6.8 点；N-3.5 Lightning-8K 在六个 harness 上平均 +11.6 点。

行业影响：中间训练此前是各家技术报告里的一行规模数字，Qwen3-Coder-Next、GLM-5、Kimi-Dev、Composer 2 都做过，配方细节基本不外流。NVIDIA 这次把配比、筛选阈值、学习率（小模型 5e-5 偏智能体收益，大模型 1e-5 偏保通用能力）、回放比例 20% 全部写出来，开源社区复现大模型能力的门槛从「猜」降到「照做」。对做编码智能体的团队，更直接的一条是鲁棒性：开源模型会被套进各种 harness 里，中间训练用多 scaffold 轨迹换来的跨 harness 增益，比单一榜单上的分数更有移植价值。另一个信号是训练预算的位移——把本该放在 SFT 里的学习搬到中间训练，SFT 就能保持短，给 RL 留出空间。

相关链接：arXiv 摘要页 ｜ 论文 HTML 全文

FEB-30：把智能体记忆的评判从「答对没有」换成「存对了没有」

事件概述：10 月 15 日提交的《Beyond Downstream QA: Rethinking How We Evaluate Agent Memory》（编号 2610.22209）来自亚马逊云科技与罗马尼亚克卢日-纳波卡技术大学。作者指出现有智能体记忆基准全部是外在式评估——向智能体提问、给回答打分——这个打分把记忆、检索、生成三件事压成一个数，并由此给出 FEB-30：30 条事实演化轨迹、6 个诊断类别、3 个难度档。

技术解析：两类错误是外在式评估看不见的。一是假阳性，记忆状态其实是错的（事实没更新、矛盾没解决），但生成模型靠着对检索碎片的推理答对了题，外在评分记为成功；二是假阴性，记忆存对了也更新对了，检索环节因嵌入不匹配被截断，外在评分把账算到记忆头上。FEB-30 用「范式反转」构造数据：先定义事实轨迹，再生成文档，ground truth 因此是确定的，不需要人工标注。共有 147 篇生成文档（127 篇状态文档 + 20 篇噪声文档），轨迹覆盖基础设施、安全、金融运营、机器学习、数据工程、容器六个领域。六类诊断分别是 LLM 补偿、检索瓶颈、操作分类、综合质量、时序正确性、多作者归因。

在一个有代表性的记忆系统上的结果（11 次运行取平均）：内在准确率落在 57.6%–61.4% 的窄带里，外在准确率几乎不动，停在 48.5%–49.2%，两者平均绝对差 0.164–0.181，分歧率（超过阈值的轨迹占比）39.7%–49.4%，符号始终为正——即外在分数系统性高于内在分数。两者的一致性系数 κ 在 0.035 到 0.118 之间，接近随机。

诊断分解给出了更硬的数字（Table 4）。整体漏答率 71.4%、操作分类准确率 20.1%。按难度拆：L1 漏答 54.4%、分类 33.8%；L3 漏答 86.3%、分类 10.1%，同时活跃事实数从 9.6 涨到 22.4——难度上来之后，系统不再把观察合成成一条演进的事实，而是裂成一堆碎片。按类别拆：多作者归因漏答率最高（87.5%），时序正确性分类准确率最低（0.4%），检索瓶颈类为 74.5% 漏答、4.5% 分类准确率。三条信号互相加强：分类做错就新建事实而不是更新，事实数膨胀，碎片化又推高漏答率。这些全部藏在外在分数底下，那个分数在不同失败模式下都停在五成左右。

论文也把自己的边界写清楚了：FEB-30 只测多作者制品间的事实演化，不覆盖情景记忆、程序记忆与单轮对话回忆；30 条轨迹够做诊断，不够做细粒度统计比较；打分依赖嵌入相似度阈值与 LLM 裁判，本身带噪声。换系统配置、换语料版本、换骨干模型这四组配置里，分歧率始终存在，符号始终为正。

行业影响：记忆是过去一年智能体工程里投入最密集的方向之一，Mem0、MemOS、Letta 等十余种架构陆续出现，评估却始终停在端到端问答上。FEB-30 的意义在于把「记忆好不好」拆成一个能单独测的量，类比 NLP 里词向量从下游任务评测转向类比任务与相似度相关性那次迁移——那次迁移让表示质量的迭代速度提了一个档次。对做记忆系统的团队，操作分类准确率 20% 这个数尤其扎眼：create / update / reinforce / supersede 的判定错了八成，靠端到端问答永远发现不了。论文也留了余地，内在评估不是替代，高外在低内在说明系统靠模型补偿在硬撑，高内在低外在说明卡在检索或生成。

相关链接：arXiv 摘要页 ｜ 论文 HTML 全文

背得出来不等于学得进去：LMU 用线性可读性区分活性事实与惰性事实

事件概述：10 月 15 日，LMU 慕尼黑与慕尼黑机器学习中心的 Faridoun Mehri 与 Hinrich Schütze 提交《Knowledge That Is Linear Before Fine-Tuning Generalizes After It》（编号 2610.22300）。论文提出「活性事实」与「惰性事实」的区分：都能被模型背出来，但只有前者支持超出自身记忆的泛化。

技术解析：构造很巧。取一个预训练关系（城市 → 所在洲，Paris → Europe），给每个答案随机指派一个新标签（Europe → crab、Asia → zebra），于是新关系为 Paris → crab。只在一部分主语上微调这个新关系，不告诉模型原关系，也不告诉映射规则，再测留出主语能不能拿到对应标签——学会了 Paris → crab，会不会答 Munich → crab。作者用 11 个开放权重模型（G9v3-3B、Granite-4.2-3B、LFM2.5-2.6B-Base、MiniCPM5-2B-Base、Nanbeige4-3B-Base、Phi-4-mini-instruct、Gemma-4-E2B、OLMo-3-1025-7B、Qwen3.5-9B 及其 Base 版、Qwen3.8-27B）与 70 个关系，去问什么能预测这种泛化。

答案是预训练表示里原关系的线性可读程度。在每个模型内部，线性可读性与泛化率跨关系的相关为 Pearson r = 0.87–0.92（中位 0.90）、Spearman ρ = 0.85–0.90，2B 到 27B 的 base 与后训练模型都落在这个带里，没有一条 95% 区间的下界低于 0.72。四个混淆因素——微调主语数、答案数、原关系准确率、主语在预训练文本中的频次（用 infini-gram 在 Dolma v1.7 上取精确计数）——单独或联合控制之后，r 仍停在 0.70–0.82。

对照组更能说明方向。召回率单独与泛化的相关是 r = 0.63–0.74，但控制住线性可读性后掉到 0.40–0.58，11 个模型里只有 8 个的 ρ 区间不含零；反过来控制召回率，线性可读性仍保持 r = 0.79–0.86。也就是说，召回之所以看起来能预测泛化，多半是因为背得熟的关系恰好也线性可读。构造里的任意选择也不影响结论：把动物标签换成其余 13 个 WordNet 语义类别，r 保持 0.91–0.93；重掷映射与微调种子三次，MiniCPM5-2B-Base 上得到 0.92、0.93、0.92。出错时的归因同样偏向线性探针——把微调后模型的错误标签映射回原答案（Munich → zebra 还原成 Munich → Asia），还原出的答案落在探针 top 答案里的次数多于落进预训练模型自己答案里的次数。

行业影响：这条结论把「知识注入」类微调的风险点从数据侧挪到了表示侧。过去判断一批事实能不能教会模型，习惯看模型是否已经知道这些事实；这篇给出的判据是，看这些事实的共享结构在表示空间里能不能被线性读出。能背出来的事实未必能撑起泛化，注入一批惰性事实，换来的可能只是训练集上的准确率。对做持续预训练与领域适配的团队，线性探针是一笔很便宜的前置检查——训之前先探一遍，比训完再发现不泛化省算力。论文也点明了它与线性表示假设的亲缘关系，现代语言模型在相当程度上是从表示里线性解码出来的。

相关链接：arXiv 摘要页 ｜ 代码与数据

2.8 万亿 token 的印度语语料：合成管线里加了一道评分与修复回路

事件概述：10 月 16 日，NVIDIA 联合 IIT Madras、AI4Bharat、Bodhan AI 等在 Hugging Face 博客发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法所列 22 种语言、34 种语言-脚本配置，并同步开放 GPU 加速的数据生成流水线。

技术解析：token 构成（按 Gemma-4 tokenizer 统计）为原生文字 2601.0B、罗马化 224.6B，合计约 2.83T。22 种语言都有原生文字数据，其中 12 种（Bengali、Gujarati、Hindi、Kannada、Malayalam、Marathi、Nepali、Odia、Punjabi、Tamil、Telugu、Urdu）另有拉丁字母转写数据；罗马化指用拉丁字母书写的印度语言文本，不是英文翻译。剩下 10 种（Assamese、Bodo、Dogri、Kashmiri、Konkani、Maithili、Manipuri、Sanskrit、Santali、Sindhi）只有原生文字。

真正值得看的是生成管线里的两道环节。十二语言工作流用 google/gemma-4-31B-it 做文档级翻译，再用 MQM 框架做质量评估，低分输出不走丢弃，而是进入反馈修复后重新评估——这一轮回收了 438.4B token，已计入总量。另十种语言用 bodhan-ai/indic-translate 做翻译，同样由 Gemma-4-31B-it 评估。语料对 SWE-bench 那一类基准做了去污染，并做了密钥脱敏。

效果在 Nemotron 3.5 Super VL 的持续预训练阶段上测：总预算 100B token，其中 10%（10B）为合成与自然印度语文本混合，其余 90% 保持前一阶段配比。五个 Indic 知识与推理基准（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）分数全部上升，增益区间 4.98–9.82 个百分点。最终模型 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 与上一代 Nemotron 3 Super 相比，在六个任务基准（知识、推理、数学、代码、翻译、指令遵循）中的五个更高，IFEval 1.5 下降 2.04 分；Sarvam AI 的 IndiVibe 四个维度（有用性、流畅性、语言与脚本保真度、适当冗长度）全部改善。

论文与博客都标了口径：CPT 那组对比是 stage-level checkpoint，不是最终发布模型的对比，也没有隔离合成语料单独的贡献；不同基准的语言覆盖不同，Indic GSM8K 因超出 serving context limit 排除了 Odia。

行业影响：印度语是教科书级的长尾场景——22 种语言覆盖 2011 年人口普查中 97% 印度人的母语，近 12 亿人，但互联网文本密度远低于英语。过去这类语料的常规做法是抓取加清洗，规模上不去就靠翻译凑，翻译质量靠抽检。这次把 MQM 评分接进流水线并加了修复回路，等于给合成数据安了一道闭环质检：438.4B 回收 token 是这道回路的直接产出，占总量约六分之一。对其它长尾语种的语料工程，这套「翻译—评分—修复—重评」的结构比 2.8T 这个数字更可移植。另一个观察是 10B token 的定向 CPT 只占总预算一成，换来五个基准 5–10 个点的抬升，定向语料的边际效率比继续堆通用 token 高得多。

相关链接：NVIDIA 官方博客（Hugging Face，2026-10-16） ｜ NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 权重 ｜ 上一代 Nemotron 3 Super 权重