数据论文速递 · 2026年05月11日

引言

本期速递聚焦大模型数据工程的核心议题——如何更高效地选择、评估和配比训练数据。五篇论文分别从二阶影响力加权、多目标minimax配比、表示叠加理论、元学习数据策展、质量-多样性联合优化等不同角度推进了数据工程的边界。其中，Superposition论文获NeurIPS 2025 Best Paper Runner-up，从表示叠加角度重新解释了Scaling Laws的物理机制；DataRater同样入选NeurIPS 2025，展示了元学习在数据策展中的大规模应用潜力。

---

Influence Distillation: Efficient Data Selection at Scale via Influence Distillation

论文信息：arXiv:2505.19051 | Mahdi Nikdan, Vincent Cohen-Addad, Dan Alistarh, Vahab Mirrokni | 2025年5月

核心问题：如何在大规模LLM训练中高效识别对目标任务最有价值的训练样本？现有数据选择方法要么依赖一阶梯度近似（精度不足），要么计算开销过大（无法扩展）。

关键发现：

• 提出Influence Distillation框架，利用二阶信息（Hessian相关）为训练样本计算最优权重，数学上可证明在GD和Adam优化器下均为最优
• 引入Landmark-based近似：仅对少量”地标”样本精确计算影响力，再高效传播到其余样本，将计算开销降低至可扩展水平
• 在Tulu V2指令微调上验证，覆盖GSM8k、SQuAD、MMLU等任务，选择速度提升3.5倍，性能持平或超越SOTA

实践启示：Influence Distillation为”数据价值评估”提供了理论最优解，其Landmark近似策略使得二阶影响力方法首次在大规模LLM场景下实用化。对于需要从海量数据中筛选目标任务最优子集的场景（如领域适配、指令微调），该方法提供了精度和效率的兼顾方案。

---

Superposition Yields Robust Neural Scaling

论文信息：arXiv:2505.10465 | Yizhou Liu, Ziming Liu, Jeff Gore | NeurIPS 2025 Best Paper Runner-up | 2025年5月

核心问题：为什么Loss随模型规模呈幂律下降？Scaling Laws的物理根源是什么？现有理论缺乏对这一现象的机制性解释。

关键发现：

• 提出表示叠加（Representation Superposition）是驱动Scaling Laws的核心机制——LLM在有限维度中编码远多于维度的特征，特征向量间的几何重叠导致Loss与模型维度呈反比
• 弱叠加下，Loss幂律仅当数据特征频率呈幂律分布时成立；强叠加下，Loss在广泛频率分布上均与模型维度成反比
• 验证开源LLM均处于强叠加状态，且Chinchilla Scaling Laws与这一行为一致
• 通过权重衰减控制叠加程度，系统性地揭示了叠加强度与Scaling行为的关系

实践启示：该论文从表示叠加角度为Scaling Laws提供了因果性而非相关性的解释。核心洞察是——当模型处于强叠加状态时，Scaling Laws具有鲁棒性（不依赖特定数据分布），这解释了为什么Scaling Laws在实践中如此稳定。同时，该理论也预示了Scaling Laws可能在某些条件下失效（如特征维度远超所需、叠加极弱），为模型规模规划提供了理论指导。

---

GRAPE: Optimize Data Mixture for Group Robust Multi-target Adaptive Pretraining

论文信息：arXiv:2505.20380 | Simin Fan, Maria Ios Glarou, Martin Jaggi | 2025年5月

核心问题：现有数据配比优化方法大多面向单一目标任务，导致模型过拟合到特定目标而在其他任务上严重退化。如何同时优化多个下游任务的预训练数据配比？

关键发现：

• 提出GRAPE（Group Robust Multi-target Adaptive PrEtraining）框架，采用minimax优化同时校准多源-多目标的数据配比
• 内层最大化：通过Group DRO（分布式鲁棒优化）调整任务权重，优先关注学习进展最慢的任务
• 外层最小化：优化域权重以在优先任务上最大化损失下降
• 在6个推理基准上持续超越基线方法，在8种低资源语言的多语言目标上实现最优语言建模能力

实践启示：GRAPE解决了数据配比中的一个核心矛盾——不同下游任务可能需要相互冲突的数据配比。其minimax思路保证了”木桶效应”最小化，即最弱任务的性能也得到保障。对于需要同时服务多个应用场景的通用大模型预训练，GRAPE提供了比单目标优化更稳健的配比策略。

---

DataRater: Meta-Learned Dataset Curation

论文信息：arXiv:2505.17895 | Dan A. Calian, Gregory Farquhar, Iurii Kemaev 等（DeepMind）| NeurIPS 2025 | 2025年5月

核心问题：现有数据策展方法依赖手工调参的粗粒度混合或启发式过滤规则，如何实现自动化的、细粒度的数据价值评估？

关键发现：

• 提出DataRater，通过元梯度（meta-gradients）学习每个训练数据点的训练价值，目标是提升在留出数据上的训练效率
• 与人工策展或启发式过滤不同，DataRater实现数据点级别的价值评估，无需手工设计质量规则
• 跨多种模型规模和数据集的实验表明，DataRater过滤的数据显著提升训练计算效率
• 该方法代表了从”人工策展”到”学习策展”的范式转变

实践启示：DataRater的最大贡献在于将数据策展从人工经验驱动转变为数据驱动。通过元学习自动发现”什么样的数据对训练有价值”，该方法可以捕捉到人工规则难以表达的隐式数据特征。对于大规模预训练数据集的构建，DataRater提供了一条更可扩展、更少偏见的路径。其与Influence Distillation的对比也值得关注——前者用元梯度从训练效率角度评估数据价值，后者用二阶影响力从目标任务角度加权，两者互补。

---

QuaDMix: Quality-Diversity Balanced Data Selection for Efficient LLM Pretraining

论文信息：arXiv:2504.16511 | Fengze Liu, Weidong Zhou, Binbin Liu 等 | 2025年4月

核心问题：数据质量和多样性是LLM预训练数据的两个关键指标，但现有方法通常分别优化（先质量过滤、再调整配比），忽略了两者之间的内在权衡。如何在统一框架下联合优化？

关键发现：

• 提出QuaDMix统一数据选择框架，在固定训练配额下同时平衡数据质量和多样性
• 设计多种质量度量准则，用域分类器区分数据以衡量整体多样性
• 构建统一的参数化采样函数，基于质量和多样性标签确定每个数据点的采样概率
• 在小模型上进行模拟实验，用LightGBM加速参数搜索，多基准测试平均提升7.2%

实践启示：QuaDMix的核心洞察是质量和多样性不是独立的维度，而是存在内在权衡——高质量数据可能高度重复、多样性不足，而高多样性数据可能包含低质量内容。该框架通过参数化采样函数将二者统一优化，避免了”先过滤再配比”的两阶段误差累积。其小模型搜索+大模型迁移的范式也是数据工程中的实用策略。