数据论文速递 · 2026年07月05日
本期聚焦 Scaling Laws 精细化与大规模预训练数据构建：从 token 分配的三项式缩放定律、4.8 万亿 token 多语言平行语料、数据受限下稀疏模型的缩放行为，到严格资源预算下的训练优化实证分析。
引言
本期数据论文速递聚焦两个方向：Scaling Laws 的精细化建模与大规模预训练数据的新范式构建。
Scaling Laws 的研究正从粗粒度的 Chinchilla 公式走向更精细的分解——本期第一篇论文将训练数据显式拆分为训练步数与批次大小，提出”三项式缩放定律”，直接回答”给定计算预算，token 该如何分配”这一工程核心问题；第三篇论文则在数据受限场景下研究稀疏模型的缩放行为，发现稀疏性不仅是效率工具，更是缓解数据重复衰减的机制。
在预训练数据构建方面，第二篇论文 MultiSynt/MT 通过翻译 Nemotron-CC 构建了 4.8 万亿 token 的 36 语言平行语料，以 72% 更少的 token 达到原生数据基线水平，为多语言预训练开辟了”合成平行数据”新路径。第四篇论文则从实证角度审视训练优化技术的边际收益，揭示大部分技巧的 BPB 改善不足 1% 的”长尾效应”。
How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
论文信息：arXiv:2607.01487 | Fabian Schaipp | 2026-07-01
核心问题：经典缩放定律（如 Chinchilla）将训练数据量视为单一变量，但在实际工程中，“数据量”可分解为训练步数（steps）与批次大小（batch size），二者对 loss 的影响机制不同。如何建立更精细的缩放定律来指导 token 分配？
关键发现：
- 提出三项式缩放定律（three-term law），将 loss 建模为模型规模、训练步数、批次大小三个独立变量的函数，而非传统的模型规模 + 总 token 数两变量
- 该定律能正确恢复最优批次大小的缩放规律，与之前经验发现的关键批次大小（critical batch size）行为一致
- 由于利用了次优批次大小的训练运行数据，拟合所需训练运行次数显著减少——这对需要用有限 GPU 时间做缩放定律预测的团队尤其重要
- 可进一步推导出任意批次大小下的缩放定律，不仅限于最优批次
实践启示：在实际预训练规划中，三项式定律提供了更直接的”token 预算分配”工具：给定计算预算后，可以分别确定最优步数和批次大小，而非仅凭 Chinchilla 公式确定总 token 数后再启发式分配。对于需要在多种硬件配置上做缩放定律拟合的团队，该方法大幅降低了实验成本。
MultiSynt/MT: Trillion-Token Multi-Parallel Pre-Training Data Translated Across 36 Languages
论文信息：arXiv:2607.00890 | Maximilian Idahl, Jörg Tiedemann, Sampo Pyysalo 等 22 人 | 2026-07-01
核心问题：开放网络预训练语料高度集中于英语，限制了多语言 LLM 的发展。许多中低资源欧洲语言甚至缺乏足够的原生训练数据。能否通过翻译高质量英语语料来构建大规模多语言预训练资源？
关键发现：
- 将 Nemotron-CC 的 1000 亿高质量 token 翻译为 36 种欧洲语言，构建约 4.8 万亿目标语言 token 的开放平行语料 MultiSynt/MT
- 对许多中低资源欧洲语言而言，这是迄今最大的开放预训练资源
- 在多语言基准上，使用 MultiSynt/MT 训练的 LLM 以约 72% 更少的预训练 token 达到原生数据基线 HPLT 2.0 的最终得分，在匹配 100B token 训练预算下相对提升约 15%
- 揭示了评估盲点：标准多选题基准无法捕捉翻译质量差异，而流畅性敏感的 LLM-as-judge 评估可以；挪威语等语言的习语和文化相关任务仍需原生数据
- 语料包含多系统行对齐翻译，支持受控的多语言预训练数据研究
实践启示：对于多语言预训练，“翻译合成”是一条可行的高效路径——不仅节省数据采集成本，还能以更少 token 达到同等效果。但需注意：(1) 习语密集和文化相关场景仍需原生数据补充；(2) 标准基准可能低估翻译质量问题，建议引入流畅性评估；(3) 多翻译系统对齐数据可用于研究翻译质量对预训练效果的影响。
When Data Is Scarce: Scaling Sparse Language Models with Repeated Training
论文信息：arXiv:2606.01155 | Boqian Wu, Qiao Xiao, Patrik Okanovic 等 | ICML 2026 | 2026-05-31
核心问题：密集 LLM 在无限数据下的缩放定律已有深入研究，但在数据受限场景下（有限唯一 token 需多轮训练），稀疏性如何与数据重复交互？稀疏训练是否仅是效率工具，还是能从根本上改善数据受限下的缩放权衡？
关键发现：
- 提出数据受限下稀疏模型的缩放定律，建模 loss 为活跃参数量、唯一 token 数、数据重复次数和稀疏度的函数，实验跨度达 1.92B 参数、93.75% 稀疏度、16 轮训练，并在 7.68B 等效密集模型上验证外推
- 延迟数据饱和效应：稀疏训练推迟了重复数据的边际收益递减，使多轮训练更有效——这意味着在数据受限时，稀疏模型比密集模型更能”榨取”重复数据的价值
- 资源权衡的非平凡性：固定数据下，loss 最优稀疏度约 50%，而计算最优稀疏度更高且随数据规模增长——二者的分离意味着数据受限和计算受限场景下应采用不同的稀疏策略
- 核心洞察：稀疏性不仅是效率工具，更是改善数据稀缺下缩放权衡的机制
实践启示：在预训练数据即将耗尽的现实约束下，稀疏模型提供了一条不同于”找更多数据”的路径。关键实践建议：(1) 数据受限时优先选择约 50% 稀疏度而非极端稀疏；(2) 稀疏模型可安全使用更多轮次训练，缓解数据稀缺压力；(3) 未来数据受限缩放定律的建模应将稀疏度作为独立维度纳入。
Parameter Golf: What Really Works?
论文信息：arXiv:2607.01517 | Prashanna Mani Paudel, Shivanand Venkanna Sheshappanavar | 2026-07-01
核心问题：在严格的计算和存储预算下（完整训练代码 + 压缩权重 ≤ 16MB，8×H100 训练 ≤ 10 分钟），语言模型的训练优化技术究竟哪些真正有效？社区驱动的优化堆叠是否存在边际收益递减？
关键发现：
- 分析了 2,037 个 PR 和 1,430 个有效提交，构建了 84 种优化技术的分类体系，逐个量化每项技术对 BPB（bits-per-byte）的贡献
- 三阶段竞赛中验证集 BPB 从 1.2244 降至 1.058（13.6% 降幅），但单项技术极少改善超过 1%
- 收益递减效应：大多数技术在竞争性提交中的增益缩小，仅少数方法在多种技术堆叠后仍保持显著效果
- 数据层面发现：在严格资源约束下，数据选择和配比策略的边际改善同样受制于”长尾效应”——大部分优化只能带来微小提升
实践启示：对于大模型训练的数据工程而言，该研究揭示了一个重要现实——优化技术的叠加存在收益递减，少数”真正有效”的技术与大量”看似有效”的技术共存。实践建议：(1) 优先验证高影响力技术（如数据质量过滤、学习率调度），而非盲目堆叠；(2) 数据配比的微调在严格预算下边际收益有限，应优先确保数据质量基线；(3) 建立类似 Parameter Golf 的内部基准来量化每项优化的实际贡献。