数据论文速递 · 2026年05月19日

引言

本期数据论文速递精选5篇最新工作，横跨数据配比、数据选择与数据合成三大方向。核心线索是：数据决策不再只是预训练的”前置工序”，而是贯穿模型训练全生命周期的持续优化问题。从OP-Mix提出的”始终在混合”范式，到SEED将数据选择建模为图论问题，再到LAD-PPT从语言学先验设计合成预训练数据——数据工程正在从经验驱动走向理论驱动。

---

OP-Mix: Always Learning, Always Mixing

• 论文信息：Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time · arXiv:2605.15220
• 核心问题：现有数据混合方法只针对训练的某一阶段（预训练或持续学习），缺乏跨生命周期的统一方案。预训练阶段需要独立代理模型搜索配比，持续学习阶段则缺乏原则性指导。
• 关键发现：提出OP-Mix（On-Policy Mix），将数据混合视为在线决策问题，贯穿预训练→持续中训练→持续指令微调全流程。核心洞察是：通过在当前模型上训练的LoRA适配器之间插值，即可低成本模拟候选数据配比，无需单独训练代理模型。预训练阶段平均困惑度改善6.3%；持续学习阶段以66%和95%更少的计算量分别匹配重训练和在线蒸馏的效果。
• 实践启示：数据混合不是一次性决策，而是持续优化过程。OP-Mix的LoRA插值思路大幅降低了搜索成本，使”边训练边调配比”成为可能。对于资源受限团队，这一方法提供了一条实用的全生命周期数据混合路径。

---

SEED: 基于加权独立集的目标数据选择

• 论文信息：SEED: Targeted Data Selection by Weighted Independent Set · arXiv:2605.15691
• 核心问题：数据选择需要同时平衡样本质量与集合多样性，但现有方法难以同时优化这两个目标——高质量样本往往语义冗余，去冗余又容易丢失优质信号。
• 关键发现：将数据选择形式化为加权独立集（WIS）问题——在相似度图上，节点代表数据样本（权重为影响力），边连接语义冗余对。该建模天然保证子集同时高质且多样。针对实际挑战，引入两项改进：(1) 节点值校准：将影响力估计限制在双边显著子空间，区分任务相关信号与梯度噪声；(2) 局部尺度归一化：自适应调整边阈值，缓解跨域分布偏移导致的图结构不平衡。基于SEED构建的Honeybee-Remake-SEED-200K多模态数据集，在指令微调、视觉指令微调和语义分割上均超越SOTA。
• 实践启示：图论为数据选择提供了优雅的形式化框架。SEED的”质量-多样性联合优化”思路特别适合多源异构数据场景。影响力估计的子空间校准技巧值得借鉴——直接使用全空间梯度作为节点权重会引入噪声，限制到任务相关子空间效果更佳。

---

LAD-PPT: 语言习得装置启发的合成预训练数据设计

• 论文信息：Language Acquisition Device in Large Language Models · arXiv:2605.16758
• 核心问题：LLM的数据效率远低于人类，现有合成预预训练（PPT）方法使用高表达力形式语言（如k-Shuffle Dyck），但缺乏语言学动机——什么样的合成语言结构最能帮助模型习得自然语言？
• 关键发现：受乔姆斯基”语言习得装置”（LAD）假说启发，提出LAD-PPT：在MP-STRUCT形式语言上进行预预训练。MP-STRUCT通过MERGE、AGREE、MOVE操作编码层级组合、特征依赖和长距离移位。仅500步PPT即可匹配强形式语言基线的token效率，同时赋予模型人类般的结构不可接受性抵抗（如REVERSE语言）。关键发现是：功能地标（functional landmarks）减少依存消歧歧义性，是PPT设计的关键驱动因素——有效PPT设计不仅取决于表达力，更取决于依存解析的可及性。
• 实践启示：合成预训练数据不是”越复杂越好”，而是需要匹配自然语言的结构归纳偏置。功能地标概念为合成数据设计提供了可操作的设计原则：在数据中设置明确的依存解析锚点，帮助模型更快建立结构化表示。这对低资源语言的预训练数据设计尤其有价值。

---

Repetition over Diversity: 质量过滤与多样性的权衡

• 论文信息：Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling · arXiv:2604.28075
• 核心问题：对于非英语高资源语言（如德语、法语、日语），数据策展面临战略两难：是优先多样性（大量轻度过滤数据单遍训练），还是优先质量（严格过滤后多轮重复训练）？
• 关键发现：在5亿Web文档上构建层级质量过滤器，比较多轮重复高质量子集与单遍训练多样语料。在多种模型规模和token预算下，重复高质量数据始终优于单遍训练大量轻度过滤数据，即使重复7个epoch后优势依然存在。发布的Boldt系列德语模型以10-360倍更少的训练token达到了SOTA结果。核心结论：对于非英语LLM，语义浓缩（通过质量过滤）比简单最大化唯一数据量更有效。
• 实践启示：这一发现对中文等非英语大模型训练同样适用——在数据量有限时，“少而精+重复”优于”多而粗+单遍”。但需注意：重复次数需要根据模型规模和数据量仔细调整，且需监控验证loss拐点。Apple的混合Scaling Laws工作（2605.12715）也佐证了这一发现：混合训练中目标数据可重复15-20次。

---

Mid-Training with Self-Generated Data: 自生成数据增强RL

• 论文信息：Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models · arXiv:2605.08472
• 核心问题：RL训练效果依赖训练数据中问题求解路径的多样性，但现有数据往往只涵盖有限的推理方式，限制了RL阶段的探索和提升空间。
• 关键发现：提出在RL训练前，使用自生成多样化数据进行中间训练（mid-training）。具体采用George Polya问题求解方法指导的引导式数据生成框架，为每个训练问题生成多种正确的求解变体，再进行微调。理论分析表明：多方法mid-training通过策略梯度更新激励模型组合多种方法。实验验证：基于mid-training初始化的RL模型在数学推理基准上一致提升，且泛化到代码生成和叙事推理等OOD任务。
• 实践启示：数据多样性的价值不仅体现在预训练，更延伸到RL阶段。“教模型多种解法”比”给模型更多题目”更有效。这一mid-training范式为RL训练数据设计提供了新思路：在进入RL之前，先用自生成多样化数据做一轮”方法扩容”，可显著提升RL的上限和泛化能力。

---

本期小结

论文	方向	核心贡献
OP-Mix	数据配比	LoRA插值实现全生命周期在线混合
SEED	数据选择	加权独立集联合优化质量与多样性
LAD-PPT	数据合成	语言学先验驱动的合成预训练数据设计
Repetition over Diversity	数据质量	质量浓缩优于数量扩张（非英语LLM）
Mid-Training with Self-Gen Data	数据合成	自生成多样化数据增强RL训练

本期五篇论文共同指向一个趋势：数据工程正在从”预训练前置步骤”进化为”贯穿训练全流程的持续决策”。OP-Mix让混合决策在线化，SEED让选择决策图论化，LAD-PPT让合成决策理论化——数据不再是模型训练的”食材”，而是与模型协同进化的”配方”。