数据论文速递 · 2026年05月09日

引言

本期数据论文速递精选5篇近期arXiv论文，覆盖大模型数据工程的核心议题：数据配比如何突破传统领域划分的瓶颈？数据混合方法的全景格局是什么？知识密度能否成为数据选择的新维度？合成数据如何利用跨文档知识关联？超参数Scaling Laws如何指导大规模训练？这些工作从不同角度推进了”数据即基础设施”的实践认知。

---

R&B: Domain Regrouping and Data Mixture Balancing for Efficient Foundation Model Training

• 论文信息：Albert Ge 等，arXiv: 2505.00358，2025年5月

• 核心问题：现有数据混合策略依赖预定义的粗粒度领域划分（如数据来源、任务类型），无法捕捉语义层面的细微差异，且搜索空间随领域数量增长计算代价高昂。

• 关键发现：

  1. 提出 R&B框架——“Regroup”基于语义相似度对训练数据重新分区，构建更细粒度的领域；“Balance”利用训练过程中自然产生的领域梯度Gram矩阵优化数据配比，无需额外计算获取评估信号。
  2. 仅增加 0.01% 的计算开销，即可匹配或超越现有SOTA数据混合策略。
  3. 在5个涵盖自然语言、推理和多模态任务的数据集上验证有效性，并提供理论分析证明自适应混合优于非自适应方法。

• 实践启示：数据配比不应被预定义领域束缚——语义驱动的领域重组能释放被”粗粒度分组”掩盖的性能空间。对实践者而言，利用训练过程中已有的梯度信息做在线配比优化，成本极低但收益显著。

---

Rethinking Data Mixture for Large Language Models: A Comprehensive Survey and New Perspectives

• 论文信息：Yajiao Liu 等，arXiv: 2505.21598，2025年5月

• 核心问题：给定有限计算资源，如何确定不同数据领域的采样权重以训练出最优模型？现有方法纷繁复杂，缺乏系统性的分类框架和对比分析。

• 关键发现：

  1. 提出超越传统”离线/在线”二分的细粒度分类体系：
     • 离线方法：启发式（heuristic-based）、算法式（algorithm-based）、函数拟合式（function fitting-based）
     • 在线方法：在线min-max优化、在线混合律（online mixing law）、其他方法
  2. 系统梳理各类方法的问题建模、代表算法，并揭示其背后的优化框架联系。
  3. 明确指出数据混合领域的关键挑战：计算效率、领域定义的灵活性、在线与离线方法的统一等。

• 实践启示：这是数据混合领域的”地图”论文——无论是选型还是研究，都可以按图索骥。对工程团队而言，理解离线函数拟合方法（如DoReMi、ALMA）与在线混合律（如Mix Law）的本质差异，有助于根据计算预算和训练规模选择合适策略。

---

Enhancing LLMs via High-Knowledge Data Selection

• 论文信息：Feiyu Duan 等，arXiv: 2505.14070，2025年5月

• 核心问题：现有数据选择方法关注文本质量（流畅度、安全性等），但忽略了知识丰富度这一维度——预训练语料中存在知识稀缺问题。

• 关键发现：

  1. 提出 High-Knowledge Scorer (HKS)，一种无梯度的知识评分方法，从”知识含量”维度选择高质量数据。
  2. 构建了多领域知识元素池，引入知识密度和知识覆盖率两个量化指标评估文本知识含量。
  3. 通过限定知识元素到特定领域，可进行领域定向的高知识数据选择。
  4. 在高知识双语数据集上训练的模型，在知识密集型任务和通用理解任务上均表现提升。

• 实践启示：数据选择不应止步于”质量过滤”——知识密度是独立于文本质量的另一关键维度。对于需要增强特定领域能力的模型，通过知识元素池做定向筛选，比通用质量过滤更精准。这为”小数据大知识”的训练范式提供了方法论。

---

Synthesize-on-Graph: Knowledgeable Synthetic Data Generation for Continue Pre-training

• 论文信息：Shengjie Ma 等，arXiv: 2505.00979，2025年5月

• 核心问题：继续预训练中的合成数据生成方法仅关注文档内内容，忽略了跨文档知识关联，导致合成数据多样性不足、深度有限。

• 关键发现：

  1. 提出 Synthesize-on-Graph (SoG) 框架：从原始语料中抽取实体和概念构建上下文图谱，表示跨文档知识关联。
  2. 采用图谱游走策略进行知识关联采样，增强合成数据的多样性和连贯性，使模型能学习复杂知识结构和处理稀有知识。
  3. 集成 Chain-of-Thought (CoT) 和 Contrastive Clarifying (CC) 两种互补策略，分别增强推理能力和判别能力。
  4. 在多跳问答和领域特定问答上超越SOTA方法，长上下文阅读理解上表现竞争力。

• 实践启示：合成数据生成需要”跳出文档”——单文档合成是有天花板的方法。通过知识图谱连接跨文档信息，可以生成具有更深层次知识关联的训练数据，尤其适合数据稀缺的专业领域。CoT+CC的双策略组合，从推理和判别两个维度同时提升合成数据质量，值得借鉴。

---

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

• 论文信息：Shane Bergsma 等（Cerebras Systems），arXiv: 2505.13738，NeurIPS 2025

• 核心问题：大规模LLM预训练中，权重衰减（weight decay）和批大小（batch size）如何随模型规模、数据规模缩放？现有Scaling Laws缺乏对这些关键超参数的系统性研究。

• 关键发现：

  1. 验证了最优权重衰减λ与批大小B呈线性缩放关系（固定N和D时）。
  2. 发现AdamW时间尺度τ = B/(ηλD) 遵循关于token-per-parameter比率（D/N）的精确幂律——据此可在大规模训练前准确预测最优权重衰减。
  3. 最优批大小B_opt和临界批大小B_crit均以数据规模D的幂律缩放，且独立于模型规模N——与先前认知不同。
  4. 分析了这些发现如何在训练时间和计算量的双重约束下指导Pareto最优的N和D选择。

• 实践启示：这篇论文为”训练前超参数设置”提供了可操作的公式——不再需要昂贵的网格搜索。关键洞察：最优批大小只取决于数据量而非模型大小，这挑战了”大模型需要大batch”的直觉。对数据工程而言，D/N比率作为核心变量连接了数据规模与超参数选择，强化了”数据规模决定训练配置”的理念。