数据论文速递 · 2026年04月29日

今日精选

本期5篇论文从数据合成、质量过滤、Scaling Laws建模到数据配比优化与课程学习，全面覆盖了大模型数据工程的核心环节。HuggingFace团队通过万亿token级实验证明：合成预训练数据中格式比模型大小更重要，1.7B小模型即可胜任生成；跨语言质量分类器研究揭示了多语言数据池化的潜力与边界；ICLR 2026论文将数据质量引入Scaling Laws框架，给出了质量-规模-算力的统一公式；CAMEL则用容量感知的混合定律将数据配比搜索成本砍半；而课程学习的研究指出学习率衰减会浪费高质量数据——这些工作共同指向一个核心洞察：在大模型时代，数据工程正从经验驱动走向理论指导。

---

1. 合成预训练数据的正确打开方式：格式比模型重要，小模型就能打

论文信息：How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data 链接：arXiv:2604.13977

核心问题：合成数据已成为LLM训练的标准组件，但重述策略、生成器模型、源数据等关键设计维度缺乏系统性比较——到底什么因素真正决定合成预训练数据的质量？

关键发现：

HuggingFace团队生成超过1万亿token进行受控实验，得出三个反直觉结论：

1. 结构化输出格式远胜自由文本重述：将网页文本重述为表格、数学题、FAQ、教程等结构化格式，性能持续超越精选网页基线和此前所有合成方法；
2. 生成器模型超过1B参数后几乎无收益：增大生成器模型规模不能带来额外提升，1.7B小模型即可胜任，成本降低30倍；
3. 源数据选择显著影响最终性能：用于混合的原始数据选取策略对下游效果有实质性影响。

基于上述发现，团队发布了FinePhrase——一个486B token的开源重述网页文本数据集，效果超越所有现有合成数据基线，生成成本降低高达30倍。

实践启示：

如果你正在构建合成预训练数据管线，优先投资提示工程和格式设计，而非更大的生成器模型。结构化重述（表格、QA、教程）是最具性价比的合成策略。FinePhrase数据集和生成框架已全部开源，可直接复用。

---

2. 跨语言质量分类器：高资源语言如何补贴低资源语言的预训练数据过滤

论文信息：Toward Cross-Lingual Quality Classifiers for Multilingual Pretraining Data Selection 链接：arXiv:2604.20549

核心问题：LLM数据治理已从”量大为王”转向”信噪比优先”，但大量语言缺乏足够的原生高质量数据来训练可靠的质量分类器——能否用高资源语言的质量信号来帮助低资源语言的数据过滤？

关键发现：

论文验证了嵌入空间中质量标记具有跨语言一致性的假设，在1B模型、103B token的规模下进行实验：

1. 大规模多语言池化频繁超越单语言基线：在排序稳定性和综合准确率上，多语言联合分类器在高资源语言上提升1.2%（法语），在低资源语言上匹配甚至超越单语言基线；
2. 规模本身不保证稳定性：单纯增加数据量不能自动获得更好的过滤效果；
3. 高资源语言需要精细化决策边界：通过第三四分位采样（Q3）或调整保留率，才能充分释放多语言信号的潜力。

该工作已被ICLR 2026 DATA-FM Workshop接收。

实践启示：

如果你在做多语言预训练数据过滤，多语言池化分类器是低资源语言的实用选择。但对高资源语言，需要在池化基础上做决策边界精修（如Q3采样、保留率调优），才能发挥多语言信号的最大价值。

---

3. 质量感知Scaling Laws：首次将数据质量纳入Chinchilla框架

论文信息：Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining 链接：arXiv:2510.03313 | ICLR 2026

核心问题：经典Scaling Laws只建模模型大小和数据量的关系，但数据质量对训练效果的影响同样关键——能否将数据质量纳入统一的Scaling Law框架？

关键发现：

论文引入无量纲数据质量参数Q，提出质量感知Scaling Law：

L(N, D, Q) = A/N^α + B/(D^β · Q^γ) + E

1. 质量-规模-算力的统一公式：从有效样本量和信息论视角推导，将数据质量正式纳入Scaling Law，给出模型大小、数据量、数据质量的联合预测；
2. 两种实用的Q估计方法：基于损坏率的代理和基于数据缺陷度量的估计器，均可直接从数据集计算；
3. 高质量数据可大幅降低模型规模需求：实验表明有效数据随质量呈亚线性衰减，对中等程度数据损坏具有鲁棒性；外样本评估验证了公式的预测能力。

实践启示：

这篇论文为”投入算力扩大模型 vs 投入人力提升数据质量”这一经典权衡提供了量化工具。通过估计数据集的Q值，你可以预测质量提升带来的收益是否值得额外的治理成本。公式也表明，在数据质量较低时，单纯增大模型规模的边际收益递减更为严重。

---

4. CAMEL：容量感知的数据配比定律，搜索成本减半性能反升

论文信息：Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization 链接：arXiv:2603.08022

核心问题：数据配比（Data Mixture）决定LLM的下游能力分布，但现有方法要么在目标模型上做昂贵的搜索，要么依赖在小模型上拟合的混合定律但无法外推——如何在控制成本的同时找到大模型的最优配比？

关键发现：

论文提出CAMEL（Capacity-Aware Mixture Law），核心创新是建模模型容量与数据配比的非线性交互：

1. 容量感知的混合定律：CAMEL将验证损失建模为模型大小和数据配比的联合非线性函数，解决了此前混合定律无法外推到大模型的问题；
2. 损失-基准预测定律：从验证损失预测基准测试准确率，实现端到端的性能预测；
3. 计算预算的智能分配：研究如何在不同模型规模间分配固定计算预算来拟合定律，以降低预测误差；
4. 7B外推至55B验证：在7B-A150B MoE模型上拟合，外推到55B-A1.2B目标模型，配比优化成本降低50%，下游基准性能提升高达3%。

实践启示：

如果你在做LLM预训练的数据配比优化，CAMEL提供了一条从小模型搜索大模型最优配比的高效路径。关键在于考虑模型容量与配比的非线性交互——简单线性外推会严重低估某些数据源在大模型上的重要性。

---

5. 学习率衰减正在浪费你最好的数据：课程学习与优化策略的冲突

论文信息：How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining 链接：arXiv:2511.18903

核心问题：高质量数据稀缺时，课程学习（按质量升序训练）是自然的利用策略，但此前研究普遍报告效果有限——到底是什么在限制课程学习的潜力？

关键发现：

论文揭示了一个此前被忽视的关键因素——学习率衰减与升序数据质量的内在冲突：

1. 常数学习率下课程学习大幅胜出：在固定学习率下，课程学习显著优于随机打乱；
2. 标准学习率衰减使优势消失：使用标准LR衰减后，课程学习的优势大幅缩水——因为高质量数据在学习率已经衰减到很小时才被训练，无法获得足够的参数更新；
3. 两种简单策略化解冲突：采用更温和的衰减策略（最终LR仅为中等降低）或用模型平均替代LR衰减，均可恢复课程学习的优势；
4. 组合策略提升1.64%：在1.5B模型、30B token上验证，组合策略在标准基准套件上平均提升1.64%，无需额外数据精炼。

实践启示：

如果你在使用课程学习策略，务必检查学习率调度是否与数据排序兼容。核心矛盾是：学习率衰减让模型在遇到最重要数据时已经”学不动”了。简单调整衰减幅度或采用模型平均，就能重新释放高质量数据的价值。这项工作也提醒我们：数据策略与优化方法需要联合设计，而非独立选择。

---

本期小结

本期五篇论文从不同角度回答了大模型数据工程的核心问题——如何让有限的数据发挥最大价值。从合成数据的生成策略（格式优先、小模型足够），到质量过滤的跨语言迁移（池化有效但需精修），再到质量感知的Scaling Laws（提供量化权衡工具），以及数据配比的高效搜索（容量感知外推）和课程学习的优化协同（LR衰减与数据排序的冲突），我们看到数据工程正在从”凭经验调参”走向”有理论指导的系统优化”。这些工作为预训练数据管线的设计提供了可操作的具体建议。