数据论文速递 · Vol.61

数据论文速递 · 2026年06月10日

本期聚焦数据配比理论、数据受限缩放定律、预训练数据归因、持续预训练超参预测与自动化数据策展，覆盖从理论解释到工程实践的完整数据工作链条

论文速递 arXiv 数据配比 Scaling Laws 数据归因 数据受限预训练 数据策展 持续预训练 数据混合 正则化

引言

本期速递聚焦大模型数据工作的「理论—方法—工具」三个层次。在理论层面，Explaining Data Mixing Scaling Laws 首次为数据配比缩放定律提供了统一的理论解释框架，揭示了「容量竞争」和「噪声抑制」两大核心机制；在方法层面，SoftQ 提出了数据受限场景下的新型缩放定律，GRASP 则突破了传统数据归因的加性假设；在工程层面，Predictable Scaling Laws 让持续预训练的超参搜索成本降低 90%，而 Curation-Bench 则探索了用通用 Agent 自动化数据策展的可能性。五篇论文从不同角度回应了同一个核心问题：如何在数据越来越稀缺的条件下，更聪明地使用数据。

Explaining Data Mixing Scaling Laws

  • 论文信息：Explaining Data Mixing Scaling Laws，arXiv:2606.08167，2026年6月6日
  • 核心问题：已有的数据配比缩放定律（如 DoReMi、DM Scaling Laws）虽能经验性地预测多域混合下的模型损失，但缺乏理论解释——为什么不同配比会产生这样的损失分布？
  • 关键发现：
    • 将标准神经缩放定律理论（量子化模型与线性回归模型）扩展到多域场景，提出统一理论框架
    • 识别出两大核心机制：容量竞争（Capacity Competition）——有限模型容量在域间的分配使域损失全局耦合；噪声抑制（Noise Reduction）——最优权重向更难学习的域偏移以最小化整体噪声
    • 基于域在基础技能上重叠、在专有技能上分化的分布假设，用更少参数实现更低 Mean Relative Error 的损失景观拟合
    • 最重要：模型可以从中小规模参数外推至大规模，为未见过的大规模训练预测高效配比方案
  • 实践启示：做数据配比实验时，不必在大规模上穷举搜索——先在中小规模上拟合理论模型的参数，即可外推预测大规模的最优配比，大幅节省实验成本

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

  • 论文信息：Data-Constrained Language Model Pretraining，arXiv:2606.06888，2026年6月5日
  • 核心问题：训练算力增长远快于自然语言数据供给，预训练将进入「数据受限、算力充裕」的新范式——模型需要对有限数据做多次 epoch 训练，如何在此场景下有效正则化并建立准确的缩放定律？
  • 关键发现：
    • 提出 MIR（Masked-Input Regularization）：在自回归预训练基础上增加随机 mask 输入的辅助 next-token prediction 损失，无需架构改动或推理开销
    • 在 72M 到 1.4B 参数规模上，MIR 叠加强 weight decay 一致优于仅用强 weight decay 的基线
    • 提出 SoftQ 缩放定律：用乘积形式耦合模型大小与数据大小，捕捉数据受限场景下二者的交互效应；经典的 Chinchilla 加法形式在此场景下是错配的——它无法捕捉「有限唯一数据的惩罚随模型规模增大而增长」的现象
    • MIR 的增益等效于约 1.3 倍额外唯一训练数据
  • 实践启示：数据受限场景下，应同时优化正则化策略（如 MIR + 强 weight decay）和缩放定律建模（SoftQ 而非 Chinchilla）；小数据多 epoch 训练的关键在于控制过拟合，而非简单增加 epoch 数

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

  • 论文信息：GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution，arXiv:2606.06892，2026年6月5日
  • 核心问题：现有可扩展的训练数据归因方法大多假设单个样本的贡献是可加的，忽略了数据子集间的冗余与互补交互——这如何解决？
  • 关键发现：
    • 将数据归因重新定义为子集级反事实效用预测问题，而非单样本打分
    • 引入 GRASP，基于理论平滑下界显式建模子集交互（二次几何惩罚项），突破了加性假设
    • 通过低维特征草图 + 有限下置信界选择协议，实现预训练规模的效率，无需隐藏的 oracle 调参
    • 子集-重训练评估显示：GRASP 的反事实子集保真度任务级排序相关性翻倍以上，前置构建成本降低近一个数量级
    • 评分机制可迁移至语言模型数据策展和跨域视觉数据选择
  • 实践启示：做预训练数据选择时，不应只看单样本质量分数——数据间的冗余和互补关系同样重要；GRASP 提供了在预训练规模上高效建模这些交互的路径

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

  • 论文信息：Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training，arXiv:2606.05610，2026年6月4日
  • 核心问题：持续预训练（CPT）的效果高度依赖学习率、批大小等超参数，但当前实践依赖经验或网格搜索，导致训练不稳定和高昂成本——能否预测性地确定最优超参数？
  • 关键发现：
    • 首次经验性发现：CPT 的最优超参数遵循稳定且可预测的缩放定律
    • 提出两阶段框架：（1）经验定律发现——在小规模代理模型上训练，通过标准 loss-compute 缩放定律推导计算预算到最优超参数的映射函数；（2）状态感知超参数预测——评估初始 checkpoint 的验证损失，用逆缩放定律估计其「等效预训练计算量」，结合计划计算预算预测目标运行的最优超参数
    • 框架将超参数搜索开销降低最多 90%，同时达到与基线可比或更优的性能
    • 模型无关，可跨架构泛化
  • 实践启示：做 CPT 前，不必在目标规模上做昂贵的超参搜索——先在小规模上拟合缩放定律，再根据初始 checkpoint 的等效计算量外推即可；这对频繁做领域适配 CPT 的团队尤其有价值

Can Generalist Agents Automate Data Curation?

  • 论文信息：Can Generalist Agents Automate Data Curation?，arXiv:2606.04261，2026年6月2日
  • 核心问题：训练数据策展是 AI 开发中最关键也最费力的环节之一，通用编码 Agent 能否自动化这个「提出—实施—评估—修订」的策展循环？
  • 关键发现：
    • 提出 Curation-Bench：Agent 中心化基准，固定模型/训练配方/评估套件，仅让 Agent 控制数据策展策略，通过命令行交互
    • 开箱即用的通用 Agent（Claude Code、Codex 等）10 次迭代内即可达到已发表的数据选择基线水平
    • 但存在执行-研究鸿沟：Agent 主要在局部策略变体上调参，而非探索新的策略族
    • 引入「脚手架」机制——要求每次迭代引用、实例化并适配已有方法——推动 Agent 进行方法引导的探索
    • 脚手架 Agent 在1/10 数据预算下自主组合出的数据选择策略，超越了强基线
  • 实践启示：当前 Agent 已能执行数据策展循环，但可靠的数据研究需要脚手架式的方法适配，而非开放式提示；对于小团队，Agent 辅助的数据策展可以显著降低人工成本，但需要精心设计交互流程