数据论文速递 · Vol.34

数据论文速递 · 2026年05月14日

本期聚焦数据混合优化与数据质量增强两大主题：Scaling Laws驱动的最优数据配比预测、Actor-Critic在线数据混合、Checkpoint自动数据混合器、废弃Web数据回收再利用、以及Scaling Laws指导的数据源效用评估。

2026年5月14日论文速递 arXiv 数据混合 Scaling Laws 在线数据混合数据回收数据源评估 Checkpoint 数据质量持续预训练数据配比合成数据 ACL 2025 COLM 2025

引言

本期数据论文速递聚焦于数据混合优化与数据质量增强两大核心主题。随着大模型预训练进入”数据墙”时代，如何高效地确定最优数据配比、如何将曾被丢弃的低质量数据重新转化为可用资源，已成为制约scaling的关键瓶颈。本期5篇论文从不同角度回应这些挑战：前3篇围绕数据混合策略的自动化与理论化——从Scaling Laws预测最优配比，到Actor-Critic在线动态混合，再到利用Checkpoint信号自动确定混合权重；后2篇聚焦数据质量与效用——从回收Web废弃数据缓解数据稀缺，到基于Scaling Laws的数据源效用评估优化资源分配。这些工作共同指向一个趋势：数据策略正从经验驱动的试错走向理论指导的系统性优化。

Scaling Laws for Optimal Data Mixtures

论文信息：Mustafa Shukor, Louis Bethune, Dan Busbridge et al., arXiv:2507.09404
链接：https://arxiv.org/abs/2507.09404

核心问题：大规模预训练中，数据混合（各领域数据占比）对模型性能至关重要，但当前主流方法依赖试错法调整配比，在大规模场景下既不经济也不可行。能否用Scaling Laws系统性预测最优数据混合？

关键发现：

提出一种预测模型loss的Scaling Law：给定模型规模N、训练token数D和领域权重向量h，可准确预测模型在任意目标领域的loss
在三大场景中验证了该定律的普适性：LLM预训练、原生多模态模型（NMM）预训练、大视觉模型（LVM）预训练
Scaling Laws可跨尺度外推：仅需少量小规模训练运行即可估计参数，进而预测更大规模和未见领域权重下的性能
基于该定律可直接推导任意目标领域在给定计算预算(N, D)下的最优领域权重，无需昂贵的试错搜索

实践启示：数据混合优化终于有了理论驱动的替代方案。对于大规模预训练团队，通过少量小规模实验即可系统性确定最优配比，避免了动辄数百次消融实验的资源浪费。该方法的跨模态泛化性（LLM→NMM→LVM）意味着方法论可复用。

Actor-Critic based Online Data Mixing For Language Model Pre-Training

论文信息：Jing Ma, Chenhao Dang, Mingjie Liao, arXiv:2505.23878
链接：https://arxiv.org/abs/2505.23878

核心问题：现有数据混合方法要么是离线的（小模型优化权重后迁移到大模型，忽略训练动态），要么是在线的但仅考虑领域间竞争（如多臂赌博机），忽视了领域内部交互效应。如何在训练过程中动态捕捉领域权重变化并建模域内交互？

关键发现：

提出 AC-ODM（Actor-Critic Online Data Mixing） 方法，引入辅助Actor-Critic网络动态调整领域权重，并在奖励函数中显式建模域内交互
训练策略可迁移：在小代理模型（410M）上训练Actor作为采样策略，直接应用于大目标模型的预训练
AC-ODM-410M达到最优验证困惑度的速度比ODM快71%
在零样本MMLU基准上准确率提升27.5%，在HumanEval pass@1上提升约2.23倍

实践启示：在线数据混合的Actor-Critic范式展示了”训练即策展”的潜力。域内交互建模是关键创新——不同领域的数据并非简单竞争，而是存在复杂的协同与干扰关系。代理模型迁移策略使大模型预训练中的动态数据混合变得经济可行。

AutoMixer: Checkpoint Artifacts as Automatic Data Mixers

论文信息：Ernie Chang, Yang Li, Patrick Huber et al., arXiv:2506.21910, ACL 2025
链接：https://arxiv.org/abs/2506.21910

核心问题：数据混合与任务能力之间的映射关系难以建模，而训练过程中保存的Checkpoint模型蕴含了丰富的”训练中数据信号”，却鲜被利用。能否将Checkpoint作为自动数据混合器？

关键发现：

观察到不同训练时点的Checkpoint展现出不同的涌现能力，这些能力反映了该阶段训练数据的影响
提出利用Checkpoint模型的一阶影响力近似（first-order influence approximation）来反推各数据源对能力的贡献，从而自动确定混合权重
在8个推理基准上，该框架在预训练场景中带来最高1.93%的性能提升
无需人工标注数据-任务映射关系，完全从训练过程本身提取数据信号

实践启示：Checkpoint不再只是训练的副产品，而是天然的数据-能力关联探测器。该方法巧妙地将”训练废弃物”转化为数据策展资源，为零成本的数据混合优化开辟了新路径。对已保存大量Checkpoint的预训练团队尤为实用。

Recycling the Web: A Method to Enhance Pre-training Data Quality and Quantity for Language Models

论文信息：Thao Nguyen, Yang Li, Olga Golovneva et al., arXiv:2506.04689, COLM 2025
链接：https://arxiv.org/abs/2506.04689

核心问题：预训练面临”数据墙”——高质量文本极为稀缺，数据过滤管道通常丢弃高达99%的初始Web数据。能否将那些被过滤掉的”废弃数据”回收再利用，转化为有价值的训练资源？

关键发现：

提出 REWIRE（REcycling the Web with guIded REwrite） 方法，通过引导式改写将被丢弃的低质量文档转化为可用训练数据
在DCLM基准的1B/3B/7B规模上，混合高质量原始文本与改写文本分别带来1.0/1.3/2.5个百分点的性能提升
改写数据混合训练比使用2倍Web数据更有效
约82%的混合文本来自原本会被丢弃的低质量文档
REWIRE优于维基百科式改写、问答合成、知识提取等合成数据方法

实践启示：数据墙的突破口可能不在”找更多数据”，而在”用好已有数据”。被过滤管道丢弃的99%数据并非垃圾，而是待开发的潜在资源。REWIRE的改写策略为预训练数据扩充提供了简单且高效的路径——尤其对数据受限的团队意义重大。Facebook已公开合成数据集。

Using Scaling Laws for Data Source Utility Estimation in Domain-Specific Pre-Training

论文信息：Oleksiy Ostapenko, Charles Guille-Escuret, Luke Kumar et al., arXiv:2507.22250
链接：https://arxiv.org/abs/2507.22250

核心问题：领域特定持续预训练（退火阶段）中，如何高效评估不同数据源（合成数据、过滤Web数据等）的质量，以做出最优的数据获取资源分配决策？现有micro-annealing方法仅提供点估计，缺乏跨计算尺度的排序不变性——在不同计算量下，数据源的相对质量排名可能翻转。

关键发现：

提出多计算量退火运行框架：通过在多个计算预算下执行退火实验，估计每个数据源的Scaling Law曲线
实验证实点估计的排序不稳定性：不同计算量下数据源质量排名可能完全不同，micro-annealing的结论可能误导决策
在7B参数模型上验证，涵盖医疗领域（预训练数据充分代表）和数学领域（预训练数据不足）两个场景
Scaling Law曲线可用于成本效益分析：系统性比较不同数据获取方法（合成生成vs用户数据vs Web过滤）在给定预算下的最优资源分配

实践启示：数据源评估不能只看”好不好”，还要看”在多少计算量下好不好”。单点评估可能严重误导数据采购决策，而Scaling Law曲线提供了跨尺度的稳健质量估计。这对需要从多种渠道获取领域数据的团队具有直接的操作指导价值——尤其是合成数据生成成本与质量之间的权衡。