数据论文速递 · 2026年05月07日

引言

本期数据论文速递聚焦大模型预训练数据工程的五个核心议题：Scaling Laws 的数据感知扩展、动态数据选择、自动化数据策展、预训练课程结构以及数据噪声与训练稳定性。

五篇论文呈现了一条清晰的脉络——从”数据本身如何影响 Scaling Laws”（InfoLaw），到”如何在训练中动态选数据”（OPUS），再到”策展策略能否自动进化”（DataEvolve），以及”不同数据驱动的技能以何种顺序涌现”（隐式课程假说），最后回到”数据噪声如何破坏训练”（噪声数据与 Loss Divergence）。这些工作共同指向一个趋势：预训练数据工程正从”静态过滤”走向”动态感知”，从”手工设计”走向”自动进化”，从”黑箱经验”走向”可预测理论”。

---

InfoLaw：将数据质量与重复纳入 Scaling Laws 框架

• 论文信息：InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition · arXiv:2605.02364 · ICML 2026

• 核心问题：在 LLM 预训练中，提高高质量数据的权重通常能提升性能；但在数据受限（尤其是过度训练）场景下，更强的上采样会导致重复增加，反而降低性能。标准 Scaling Laws 无法在混合配方变化和重复条件下可靠外推，使得大规模下的最优数据配方选择成为欠定问题。

• 关键发现：论文提出 InfoLaw 框架，核心思路是将预训练建模为信息积累过程——数据质量控制信息密度，重复则引发随规模递减的收益。该框架从消耗 token 数、模型规模、数据混合权重和重复水平四个维度预测 loss。在高达 7B 参数、425B token 的实验中，InfoLaw 的 loss 预测平均绝对误差仅 0.15%，最大绝对误差 0.96%，且在不同过度训练水平下均可可靠外推。

• 实践启示：这是首个在统一框架内同时处理数据质量、混合配比和重复效应的 Scaling Law，对”数据墙”背景下的计算预算分配具有直接指导意义——可以在小规模实验中高效搜索最优数据配方，然后可靠地外推至目标规模。

---

OPUS：优化器感知的动态数据选择

• 论文信息：OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration · arXiv:2602.05400

• 核心问题：随着高质量公开文本趋于耗尽（“数据墙”），预训练正从”更多 token”转向”更好 token”。现有数据选择方法要么依赖忽略训练动态的启发式静态过滤，要么使用与优化器无关的原始梯度标准，无法充分利用现代优化器（如 AdamW）的更新动态。

• 关键发现：OPUS 提出优化器诱导的投影效用选择框架——在优化器更新空间中定义数据效用，将候选样本的有效更新投影到由稳定代理模型导出的目标方向上。通过 Ghost 技术 + CountSketch 保证计算效率，Boltzmann 采样保证数据多样性，额外计算开销仅 4.7%。在 FineWeb/FineWeb-Edu 上预训练 GPT-2 Large/XL 时，OPUS 仅用 30B token 就超越了工业级基线甚至 200B token 的全量训练；在 Qwen3-8B 的继续预训练中，0.5B token 即超越 3B token 全量训练。

• 实践启示：OPUS 证明了”每次迭代选择合适的数据”比”一次性过滤好数据”更高效，且与现有静态过滤管线正交互补。这对资源受限场景下的预训练效率提升具有显著实用价值。

---

DataEvolve：AI 自主进化预训练数据策展策略

• 论文信息：Data Darwinism Part II: DataEvolve — AI can Autonomously Evolve Pretraining Data Curation · arXiv:2603.14420

• 核心问题：现代预训练语料包含数百个异构类别，每个类别需要专门的数据处理策略，人工设计策略在大规模下不可行。Data Darwinism Part I 建立了十层数据处理分级体系，但依赖手动设计的单类别策略。

• 关键发现：DataEvolve 实现了数据策展策略的闭环自动进化——对每个数据类别，自动识别质量问题、生成候选策略、在采样数据上执行、评估结果、跨代迭代优化。经验池积累已发现的问题，策略池追踪迭代表现。应用于 Nemotron-CC 的 8 个类别（672B token），经 30 次迭代进化后生成 Darwin-CC（504B token）。训练 3B 模型时，Darwin-CC 比原始数据提升 +3.96 分，在 18 个基准上平均 44.13 分，超越 DCLM、Ultra-FineWeb 和 FineWeb-Edu。消融实验表明迭代进化必不可少：优化策略比次优策略高 2.93 分。

• 实践启示：这是”用 AI 优化 AI 训练数据”的典型范式。进化策略收敛于清洗导向的方法（定向噪声去除 + 格式归一化 + 领域感知保留），与 Part I 的 L4（生成式精炼）原则一致。对大规模异构语料的自动化策展具有工程落地价值。

---

隐式课程假说：预训练技能涌现的可预测结构

• 论文信息：What do Language Models Learn and When? The Implicit Curriculum Hypothesis · arXiv:2604.08510

• 核心问题：Scaling Laws 告诉我们模型随计算量提升多少，但无法揭示模型在预训练中以何种顺序习得哪些技能。预训练过程中技能涌现的细粒度动态仍不清晰。

• 关键发现：论文提出”隐式课程假说”——预训练遵循跨模型和数据混合的可预测组合式课程。通过设计涵盖检索、形态变换、共指消解、逻辑推理和数学的简单可组合任务集，追踪四个模型家族（410M-13B 参数）的涌现点。发现模型达到固定准确率阈值的涌现顺序高度一致（45 个模型对的 ρ = .81），复合任务通常在其组件任务之后涌现。更重要的是，这种结构编码在模型表征中——通过任务集导出的表征空间，可以在不预先评估的情况下有效预测简单 held-out 组合任务的训练轨迹（R² = .68–.84）。

• 实践启示：预训练比 loss 曲线所揭示的更有结构——技能以组合式顺序涌现，且该顺序跨模型一致、可从模型内部读取。这为数据混合策略的设计提供了理论依据：可以基于技能涌现顺序优化数据配比，而非仅凭 loss 下降调整。

---

噪声数据与 LLM 预训练 Loss Divergence

• 论文信息：An Empirical Study on Noisy Data and LLM Pretraining Loss Divergence · arXiv:2602.02400

• 核心问题：大规模预训练语料不可避免地包含大量噪声数据，业界普遍推测噪声数据会导致训练不稳定甚至 loss 发散，但这一现象缺乏系统性理解。

• 关键发现：论文通过在干净数据集中注入受控合成均匀随机噪声，系统分析了 480M 至 5.2B 参数模型的训练动态。核心发现：噪声数据确实会诱发训练 loss 发散，且发散概率强烈依赖于噪声类型、噪声数量和模型规模。进一步发现，噪声引发的发散与高学习率导致的发散在激活模式上显著不同，并提供了区分这两种失败模式的诊断方法。

• 实践启示：这项工作首次在大规模受控实验中系统刻画了噪声数据对训练稳定性的影响，为预训练数据清洗的必要性提供了实证依据。区分”噪声发散”与”学习率发散”的诊断方法在工程实践中尤为实用——当训练出现 loss 发散时，可以据此判断是应该清洗数据还是调整学习率。

---

总结

本期五篇论文从不同角度推进了 LLM 预训练数据工程的前沿：InfoLaw 将数据质量和重复效应形式化为可预测的 Scaling Laws，OPUS 将数据选择从静态过滤提升到优化器感知的动态调度，DataEvolve 让数据策展策略从手工设计走向自动进化，隐式课程假说揭示了预训练技能涌现的内在结构，而噪声数据研究则为数据清洗的必要性提供了坚实的实证支撑。这些工作共同勾勒出一条清晰的技术路径：数据工程正在从”经验驱动”转向”理论引导 + 自动化执行”。