数据论文速递 · 2026年05月15日

引言

本期数据论文速递精选5篇2026年5月新发表的论文，覆盖大模型数据工作的核心环节：从预训练数据配比的Scaling Laws预测，到采集函数引导的合成数据生成；从任务-模型联合自适应的数据选择，到决策边界间隙导向的合成数据筛选；再到后训练阶段梯度对齐的推理数据策展。这些工作共同指向一个趋势——数据工作正从静态启发式走向动态、模型感知和原则化。

---

Scaling Laws for Mixture Pretraining Under Data Constraints

• 论文信息：Scaling Laws for Mixture Pretraining Under Data Constraints，arXiv:2605.12715，Anastasiia Sedova 等（Apple），2026年5月12日

• 核心问题：当目标数据源（如低资源语言、专业领域）天然稀缺时，如何确定其与通用数据的最优混合比例？目标数据太少会欠暴露，太多则因重复过拟合——这个平衡点在哪里？

• 关键发现：基于超过2000组训练运行的系统实验，作者发现：重复是目标域性能的核心驱动因素，且混合训练比单源训练能容忍高得多的重复率——稀缺目标语料可复用15-20次，最优重复次数取决于目标数据量、计算预算和模型规模。在此基础上提出了重复感知混合Scaling Law，显式建模重复目标token的递减价值与通用数据的正则化作用，优化该法则即可给出实用的混合配比建议。

• 实践启示：这是对”数据受限下如何配比”这一实际问题的直接回答。15-20次重复容忍度远超直觉，为低资源语言和专业领域预训练提供了明确的操作空间。重复感知Scaling Law可直接嵌入预训练配方优化流程，替代昂贵的网格搜索。

---

AcquisitionSynthesis: Targeted Data Generation using Acquisition Functions

• 论文信息：AcquisitionSynthesis: Targeted Data Generation using Acquisition Functions，arXiv:2605.13149，Ishika Agarwal 等，2026年5月13日

• 核心问题：现有合成数据方法（拒绝采样、课程设计等）缺少量化手段衡量生成样本对下游学习者的实际影响——能否用采集函数作为”奖励模型”来引导生成更高质量的合成数据？

• 关键发现：借鉴主动学习中的采集函数概念，将采集函数（如预测不确定性、梯度影响等）作为奖励信号训练语言模型生成数据。实验表明：（1）用AcquisitionSynthesis数据训练的学生模型在分布内任务上获得2-7%提升，且对灾难性遗忘更鲁棒；（2）该方法可跨模型迁移，并适用于从低资源到高资源的训练范式。关键洞察：采集函数天然具备可解释性和模型中心性，为”模型感知的数据自改进”提供了原则化路径。

• 实践启示：将主动学习的理论工具引入合成数据生成，实现了从”生成-过滤”到”定向生成”的范式转变。无需外部奖励模型或闭源API，仅用模型自身的采集信号即可驱动数据质量提升，对资源受限团队尤其有价值。

---

Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies

• 论文信息：Learning Multi-Indicator Weights for Data Selection，arXiv:2605.09665，Jingze Song 等，IJCAI 2026，2026年5月10日

• 核心问题：现有指令微调数据选择方法使用静态的、任务无关且模型无关的加权方案，忽略了不同下游任务和不同模型预训练能力的差异——如何实现任务与模型联合自适应的数据选择？

• 关键发现：提出基于ICL信号的多指标权重学习框架，在紧凑的微小验证集上用上下文学习信号作为高效性能代理，无需全量微调即可识别最优权重配置。在Mistral、Qwen、Llama等多个模型族和基准上，仅用30%的训练数据在GSM8K上达到与全量训练相当或更优的性能。分析还揭示了推理任务中语义多样性与逻辑复杂度之间的权衡，证明了联合任务-模型适应的必要性。

• 实践启示：用ICL代理替代全量微调来搜索数据选择权重，将计算成本降至可接受范围。“30%数据达到全量效果”再次印证数据质量>数量的规律。语义多样性vs逻辑复杂度的权衡为数据策展提供了新的调节维度。

---

LiBaGS: Lightweight Boundary Gap Synthesis for Targeted Synthetic Data Selection

• 论文信息：LiBaGS: Lightweight Boundary Gap Synthesis for Targeted Synthetic Data Selection，arXiv:2605.11231，Abhishek Moturu 等，2026年5月11日

• 核心问题：合成数据的价值在于填补训练分布中对下游任务重要的缺失部分——如何精确识别并填充这些”空白”，而非盲目添加数据？

• 关键发现：提出LiBaGS方法，综合决策边界邻近度、预测不确定性、真实数据密度和支撑有效性四个指标为候选合成样本打分，确保选出的样本既信息丰富又留在真实数据流形上。创新性地引入边界间隙分配规则，定向填充稀疏但真实的决策边界邻域。此外，该方法还包含边际价值停止规则（自动判断何时足够）、边界附近软标签分配和多样性目标（避免冗余近重复选择）。

• 实践启示：LiBaGS的”边界间隙”思想精准抓住了合成数据的核心价值——不是更多数据，而是更关键的数据。四个评分维度的组合、自动停止规则和软标签设计构成了一套完整的方法论，可直接借鉴到LLM指令数据的合成筛选中。

---

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

• 论文信息：GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training，arXiv:2605.13130，Junjie Li 等，2026年5月13日

• 核心问题：现有推理数据策展流程对整个样本打分，将推理链中每一步视为同等重要——但实际各步骤贡献极不均匀，如何实现步骤级的精细数据选择？

• 关键发现：提出GRACE方法，将每条推理链视为优化事件序列，用两个互补信号对每步打分：（1）与答案导向梯度方向的对齐度；（2）与前序推理轨迹的一致性。步骤级分数聚合为样本级价值用于子集选择，无需外部奖励模型或步骤标注。为提高可扩展性，引入表征级梯度代理，单次前向传播即可估计步骤级对齐。在MMathCoT-1M上后训练Qwen3-VL-2B-Instruct，仅用20%数据达到全量性能的108.8%，5%数据仍保留100.2%，且子集可跨模型骨架有效迁移。

• 实践启示：GRACE将数据策展从”样本级”推进到”步骤级”，这是对推理数据质量理解的重要深化。梯度代理的单次前向传播设计使方法具备工程可行性。20%数据超越全量效果的结果表明，推理数据中存在大量低贡献步骤，精准剔除它们不仅节省计算，还能提升性能。