数据工程观察 · Vol.148

数据工程观察 · 2026年10月15日

五条动态围着同一个问题：数据上的每个决定凭什么算得出来——多模态配比第一次有了能外推的律、跨语种中训练的词表与 token 账本、数据工程交给 agent 能涨多少、真实规模下训练数据检测的 AUC 只有 0.529、低精度训练改写 token 预算。

2026年10月15日数据工程数据配比 Scaling Laws 多模态中训练持续预训练词表训练数据检测数据污染数据筛选课程学习量化训练去重预训练数据

arXiv cs.LG / cs.CL / cs.AI 在 10 月 14 日放出新一批条目，三源去重 1033 条。挑出的五条落在同一个问题上：数据上的每个决定，凭什么算得出来。多模态配比有没有可外推的律；跨语种中训练的 token 与词表怎么改；数据工程本身能不能交给 agent 去做；做完之后能不能查得出来；精度与 token 的账怎么在算力预算内一起算。其中四条给了可复核的定量口径，一条给出的答案是「查不出来」。

一、配比：多模态混合第一次有了能外推的律

事件概述：多模态大模型同时吃文本、视觉、音频，但每种模态各给多少、互相挤掉多少，公开文献里长期没有可外推的结论。这篇工作用 MoE 架构跑了一轮系统扫描，给出三模态的数据混合 scaling law。

技术细节：268 次实验，模型规模 457M 到 8.3B 参数，最多 150B token，全部跑在 64 张 GH200 上，合计约 30 万 GH200 卡时，训练框架是 Megatron-LM。三条可直接使用的结论：算力最优分配是模态相关的，文本和视觉走 Chinchilla 式均衡放大，音频偏模型侧——加参数比加 token 划算，音频对容量共享的敏感度约为文本的 4 倍、视觉的 2 倍；视觉或音频数据重复超过 2 个 epoch 基本不再有收益，5B token 重复 5 次（25B 采样量）在视觉上只追平 15B 独有 token，在音频上只追平 10B，等于重复部分约 60% 的算力接近白花；跨模态干扰高度不对称，视觉强干扰音频，音频对文本和视觉的干扰可以忽略。重复惩罚的强弱还和模型规模挂钩：457M、875M 这类小模型对重复几乎不敏感，参数过半亿之后重复数据严格劣于独有数据。作者把未验证的边界也写明了——超过 100B 激活参数、超过 1T token 的外推，以及长视频模态，都没做。

对大模型数据工作的影响：配比从此有了先验，不用靠试。决定要不要为一个模态再采数据之前，先算两件事：这个模态的独有 token 还能撑几个 epoch，以及把它塞进去会挤掉谁。音频这条尤其值得注意：它对文本和视觉几乎不造成干扰，对容量共享却最敏感，意味着音频数据的边际价值主要取决于模型有没有给它留够参数，而不是堆了多少小时音频。

二、中训练：词表就地扩容，然后 1.27T token 补回来

事件概述：Nemotron-3-Nano-30B-A3B 被适配到八种印度语言，主干结构一行没动。做法是先把词表从 131,072 就地扩到 163,072，再做持续预训练。

技术细节：扩词表走的是继续 BPE 加 AdaptMix 重平衡，不是直接往词表里加 token——直接加在这篇的对照里是更差的一档。每词 token 数平均降 38.6%，分语言看 Gujarati 降 47.1%、Malayalam 降 44.3%、Telugu 降 40.1%、Hindi 降 19.2%。新增的 32,000 个词表项带来约 1.72 亿参数（2×32,000×2,688），输入输出矩阵未绑定，新行的初始化取原有组成行的均值。词表行先在 90% 印地语系 + 10% 英文上预热，再放开主干。持续预训练分三段：8K 上下文的广训、高质量退火、128K 长上下文，合计约 1.27T token，跑在 256 张 H200 上。退火检查点在 Indic MILU 上从 40.63 涨到 53.52（+12.9），英文 MMLU 掉 3.4。论文把踩过的坑也列了三条：AdamW 的权重衰减会改动本该冻结的行，训练损失看着正常、英文分数却掉到接近随机，修法是每步前存下继承行、优化器步进后还原，并在每个张量并行 rank 上验证逐位相等；只喂印地语系做预热时英文回不来，补 10% 英文才恢复；用印地语系为主的验证集挑学习率，选出的是 10⁻⁴（验证困惑度最低），而最保英文的是 10⁻⁵，最后选了 10⁻⁵——验证集的构成决定了它挑不出你真正想要的那个学习率。数据侧还有一处细节：约 691B 印地语系 token 的池子先做精确去重再做跨文档模糊去重，按长度、文字纯净度、重复度、样板文本、KenLM 困惑度和安全信号分高/中/低三档，合成译文和改写内容在广训阶段降权、在高质量退火阶段直接剔除。

对大模型数据工作的影响：这是一份少见的、把「加一门语言要付多少」算清楚的工程记录。两处对数据团队直接有用：一是验证集构成会反向决定超参选择，印地语系占比高的验证集挑不出保英文的学习率，做跨语种中训练时验证集要按你想保的能力配比来搭，而不是按目标语种；二是合成译文降权、退火阶段剔除，等于给「合成数据在哪个阶段可入池」划了线。

三、自动化：数据工程交给 agent，能涨多少

事件概述：数据选择、奖励设计、课程学习这三类决策一向靠人反复试。这篇提出 Agentic Data Engineering（ADE）框架，让 agent 依据累计实验反馈去推进、修订、组合研究方向，再在留出 benchmark 上验收。

技术细节：四个任务——数学数据选择、代码数据选择、数学奖励设计、数学课程学习——训练与评测协议全程固定，策略用 in-loop 分数挑选、在留出集上评估。数学数据选择在 C=1 时相对通用基线的绝对增益为 AIME25 Pass@32 +13.34%、留出 Macro Avg. Pass@K +5.85%。奖励设计在 C=3 时把 AIME24 Pass@32 从 3.33% 抬到 13.33%、Average@32 从 0.21% 抬到 0.52%，但留出集上出现覆盖—正确性的取舍：Pass@K 涨、Average@K 跌，收益主要来自「能解的题目变多了」。课程学习在两个容量档上都改善了留出 Macro Avg.，而模型、训练数据池、仅看结果的奖励和 100 步预算全部不变，等于单独证明了「怎么排数据」本身就是一种干预。 ablation 里，把证据分析和累计发现结合起来优于只用其一。作者自曝的风险也写进结论：反复优化 in-loop 信号会对 agent 能看到的反馈过拟合，留出轨迹显示后期 in-loop 的涨分并不总带来泛化变好；加上 agent 本身有随机性，同样输入会走出不同策略。

对大模型数据工作的影响：数据工程这件事正在被拆成「搜索」和「验收」两半，而验收那一半不能省。三个任务里有两个的收益需要靠留出集才看得清，奖励设计那一条甚至在留出集上换了方向。把课程学习排进 agent 的搜索空间也说明，数据顺序已经被当成一个可调参数，而不只是训练脚本里的常量。

四、审计：真实规模下的训练数据检测，AUC 只有 0.529

事件概述：后训练用了哪些数据，外界基本查不到。训练数据检测（membership inference）被寄望于解决榜单污染和版权问题，但已有评测要么事后构造 benchmark、带来分布偏移，要么在远小于真实规模的设置上做。WildTrace 把评测搬到了真实的后训练流水线上。

技术细节：基于 Olmo-3 系列，按 SFT、DPO、RL 三个阶段各训一个被测模型——SFT 用 Dolci-Instruct-SFT 的 2.15M 样本，DPO 用 Dolci-Instruct-DPO 的 260K 偏好对，RL 用 Dolci-Instruct-RL 的 170K 样本。每个阶段配数学、代码、指令跟随、问答四个任务，每任务 250 条训练成员 + 250 条同分布留出非成员，成员标签可核验，每阶段 2000 条评测样本。结果：表现最好的 Min-K%++ 平均 AUC 只有 0.529，接近随机猜测的 0.5；困惑度法 0.514、小写归一化法 0.518、zlib 法 0.513、熵法 0.488。规模扫描更直接——训练集从 10K 扩到 200K，AUC 一路退化，TPR@5%FPR 在 100K 样本处跌破 0.1。评测协议本身也显著影响读数：SFT 阶段按完整的问答对打分，DPO 按选中的问答对打分，RL 只用问题打分。

对大模型数据工作的影响：这条给数据审计泼了冷水，也划了边界。目前任何声称「能查出某条数据是否被用过」的工具，在真实后训练规模上都还没有可用的判别力，榜单污染排查不能依赖它。反过来，成员/非成员必须同分布、标签必须可核验这两条，应当成为自建审计集的最低配置——分布不匹配会显著抬高或压低读数。

五、预算：低精度预训练的律，把 token 和精度一起算

事件概述：量化预训练已有若干条 scaling law，但大多把前向和反向的精度混在一起处理。这篇把两者分开建模，并显式引入收敛分析里发现的持久优化误差。

技术细节：先把现有 4-bit 训练配方拆成前向分量和反向分量，定位出对损失影响最大的那几档，再在这几档上拟合和检验。公式把量化对模型容量的影响与对优化效率的影响分开，并为前向、反向各自的持久误差单独立项。Qwen3 实验加公开的 Llama 系实验显示，随模型规模和 token 数放大，这条律预测损失的 MSE 比现有律低最多 11 倍。推广到逐层混合精度后，可以在给定硬件算力预算下解出最优配方——模型大小、训练 token 数、每层前向/反向精度。与以往精度 scaling law 相反的一点是：这条律预测最优精度随算力预算上升而上升。把 MXFP8 相对 BF16 的加速比从 1.8× 换成 1.6×、1.4×，结论方向不变——最优精度仍随预算上升，反向比前向在更大预算区间内保持 NVFP4，最优模型大小与每参数 token 数几乎不动。

对大模型数据工作的影响：低精度训练不再只是「省显存」的工程选项，它直接改写数据预算。以往按 BF16 算出来的 Chinchilla 配比，在 4-bit 训练下对应的最优 token 数并不相同；既然最优精度随预算走高，那么「省下来的算力该买更多数据还是买更高精度」这道题，现在有了一个可以代入求解的式子，而不是拍脑袋。