数据论文速递 · 2026年10月18日

本期五篇沿数据流水线排开：语料怎么切、用谁清洗、中间层怎么配、合成数据怎么造、多语言预算怎么分。前两篇讲的是同一个容易被忽略的事实——数据工程里的「切分规则」和「用哪个模型清洗」本身就是可调的决策变量，不是默认配置；后三篇则把预算摆到台面上，说明中训练、合成数据、语言覆盖各自是一条独立的坐标轴。

新内容从哪开始：字节级模型的切分规则决定算力落在哪

论文信息：Patch where the text is new: a compression view of where byte-level models should spend compute（arXiv:2610.22100）

核心问题：字节级语言模型（如 Byte Latent Transformer）每隔一个 patch 才跑一次大的全局模型，patch 起点由一个小模型的下一字节熵决定。这套规则很少在行内计算结果处开 patch——比如解题过程里等号后面的那个数字，紧预算下的准确率随之崩塌。切分的默认规则把算力分错了地方。

关键发现：作者提出 novelty patching，动机来自 LZ77 式压缩：在「后续字节不会重复近期上下文」的位置开 patch。这条规则是一张覆盖前两个字节的查找表，在原始文本上几秒钟拟合完成，不需要标签、参考模型或损失。在 1.9 GB 数学语料上从头训练 BLT 风格模型、匹配约 11% 的 patch 率（每个配置 3 个种子）：1M 参数量级下看不出明确效果；12M 上最终答案准确率从 47% 升到 72%；50M 上计算结果准确率从 21% 升到 57%、最终答案准确率从 60% 升到 90%。用原始预训练语料拟合出来的表同样保住增益。数学之外优势收窄：novelty 在散文上降低 bits per byte，在源码与合成执行轨迹上与熵规则打平。边界落点分析给出了原因——计算结果对 patcher 的模型而言惊异度平常，追惊异度的规则会直接跳过它们。熵规则把 patch 起点最强烈地集中在高惊异字节上（边界富集 1.61），在计算结果上表现最差；表现最好的规则富集度接近随机。

实践启示：语料切分不是预处理里的中性一步，它决定了大模型在哪些 token 上真正花算力。这张表从原始语料里拟合，成本几乎为零，却把 50M 模型的计算结果准确率抬了 36 个百分点。做字节级或动态分块训练时，值得先量一遍边界落点，再看模型表现。

数据清洗该买哪个模型：保真度与下游精度之间的账

论文信息：When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles（arXiv:2610.21139）

核心问题：LLM 越来越多被放在决策链上游，用来清洗数据、检测标签错误、重建缺失值。更高保真度的模型配更丰富的提示明显更贵，而这份额外保真度值不值，取决于下游优化要的精度。问题是：给定手上的下游任务，什么时候该为一个更好的 LLM 付钱。

关键发现：作者把这件事形式化为带混合保真度一阶 oracle 的随机优化，oracle 允许带系统偏差与状态依赖的方差，给出两个成本感知框架。偏差已知时，第一个元算法用带重启的成本感知策略，在优化各阶段自适应挑选 oracle 保真度，累计成本不超过事后最优的固定 oracle，还能显著更低。偏差未知时，作者设计预算化的认证方案，靠偶发的可信梯度评估来认证优化进展、淘汰失格的 oracle 源，并给出认证成本与「偏差源被延迟检出」之间的显式权衡。两个元算法都用带偏差的随机梯度外推（SGE）与状态依赖噪声下的递归正则化作子程序给出具体实现。合成实验与 LLM 补全实验印证了理论预测的切换行为：自适应策略跳过若干昂贵的 LLM oracle，累计成本相对固定高保真方案大幅下降，精度相当。

实践启示：用 LLM 清洗语料时，全程调用最贵模型往往是浪费。可操作的做法是分层：让便宜模型承担多数梯度步，只在需要认证的关键节点调用高保真模型。偏差未知的情形尤其值得照抄这套预算化认证，因为便宜模型的偏差不会自己暴露。

中训练是一根独立的预算轴：Nemotron 的开源配方

论文信息：Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe（arXiv:2610.22019）

核心问题：通用模型与领域模型都在预训练与后训练之间插入了中训练（midtraining）阶段，但这个阶段怎么搭，公开信息很少。预训练通常在短上下文下跑，几乎看不到智能体交互；SFT 数据又多为合成，过长的 SFT 阶段会伤到模型后续的可 RL 训练性。中间这一段该放什么，一直没人讲清楚。

关键发现：作者给出一套开源的中训练配方，在两个不同规模的 Nemotron 模型上验证。该阶段在 256K 上下文上训练数千亿 token，混合自然的软件工程数据（打包的仓库、pull request、提交历史、构建日志）加一小部分智能体轨迹。在 Nemotron 3.5 Lightning 上，500B 中训练 token 在后续完全相同的 SFT 之后把 SWE-bench Verified 从 60.7 提到 64.5、SWE-bench Multilingual 从 55.8 提到 62.8、SWE-bench Pro 从 32.0 提到 35.5。在更大的 Nemotron 3.5 Super 上，280B 中训练 token 把长程任务基准 DeepSWE 从 11.7 提到 15.7、SWE-bench Verified 从 72.9 提到 74.3。中训练还提升两个模型跨智能体框架的鲁棒性。作者一并公开了配方背后的消融实验，以及建立在「短的固定 SFT 跑」之上的评测协议——因为基模型的代理指标与后训练结果并不可靠地相关。

实践启示：中训练不是预训练的尾巴，也不是 SFT 的预热，是可以单独设计与单独计账的一段预算。这里最实用的一条反而是评测协议：拿基模型代理指标挑中训练配置会挑错，得用短 SFT 跑来测。

合成数据的难度要由结构保证，不是由篇幅堆出来

论文信息：GRADS: Graph-Regulated Agentic Data Synthesis with Controllable Difficulty（arXiv:2610.21167）

核心问题：深度研究智能体要从大语料里检索精确信息，多跳长程任务依旧吃力。合成数据是可扩展的解法，现有管线通常靠扩展种子任务来增加表观的深度与广度。这种扩展并不可靠地转成必要的推理：新引入的证据往往只与答案弱耦合，造成预期难度与实证难度错配——看起来变难了，做起来并没有。

关键发现：GRADS 是一个图引导的智能体数据合成框架，带显式难度控制。它跑一条回路：种子选择、证据扩展、问答构造、验证，全程维护一张记录「推导每个答案需要哪些证据与推理依赖」的图。每一步以相关子图作条件来生成，保住不可省略的推理链，不累积无关上下文。在安全、软件工程、科学文档三个域上，GRADS 稳定地产出经独立求解器验证、难度分布被实证分开的任务。在匹配的训练预算下，这份数据在各层面都给出增益：SFT 把求解终止率提到 95% 以上，并把工具调用与轮次削减最多 75%；RL 再削最多 19.5% 的工具使用；在留出的域内基准上，得到的 4B 模型在软件工程上与 Sonnet 4 打平，在科学与安全域上超过它。

实践启示：造合成任务时，「多加几跳」不等于「多加推理」。把证据与推理依赖显式建成图、按图条件化生成，才能让难度可控可验证。75% 的工具调用削减说明，数据的结构质量会直接兑换成推理时的成本。

多语言扩容：语言覆盖、每语言 token、专家数三者的换算表

论文信息：Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation（arXiv:2610.20247）

核心问题：多语言模型跨语言共享容量，加一门新语言会伤到已有语言。MoE 用极少的每 token 额外计算来扩展这份容量。问题是：有了这份额外容量，加专家能否降低每新增一门语言的代价。

关键发现：作者提出一条重复感知（repetition-aware）的联合标度律，把活跃参数量、每语言训练 token 数、专家数、语言覆盖数四个变量关联起来。这条律在 64 个预训练配置的 26,300 个每语言损失观测上拟合，相对最强的评测基线把留出配置的预测误差降低 28%。在匹配的活跃参数量与每语言训练 token 数下，32 个专家把「从 12 种语言扩到 200 种语言」的损失惩罚相对稠密模型削减 83%。这条律还给出一个分配上的结论：更广的语言覆盖在更宽的算力预算区间上都偏向更多专家，指导多语言模型扩容时的容量分配。

实践启示：做多语言预训练时，语言数量、每语言 token 预算、专家数是三条可互相换算的轴，不是各自独立的旋钮。83% 这一数字说明，语言覆盖带来的损失惩罚主要靠专家数而非靠堆 token 来吸收。

小结

五篇指向同一件事：数据工作的收益越来越来自「怎么分」而不是「有多少」。切分位置决定算力落点，清洗模型的档位决定成本曲线，中训练这一段决定后训练的上限，合成数据的图结构决定推理链是否真被练到，语言覆盖与专家数的配比决定扩容代价。它们的共同做法是先把预算写成显式的变量，再去做优化。