数据论文速递 · 2026年05月10日

引言

本期「数据论文速递」精选 5 篇近期 arXiv 上与大模型数据密切相关的工作，涵盖数据改写（Rewriting）、数据配比相变（Phase Transitions）、多语言质量过滤、预训练-后训练协同视角下的”坏数据”悖论，以及基于杠杆分数的高效数据混合框架。这些研究从不同维度推进了对大模型数据工程的理解——从”如何让低质量数据变得可用”到”混合比例如何引发涌现式跳变”，再到”看似有害的数据为何可能在后训练中发挥关键作用”，共同勾勒出数据工程从静态策展走向动态优化的演进脉络。

---

Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

• 论文信息：Rewriting Pre-Training Data Boosts LLM Performance in Math and Code，arXiv:2505.02881，cs.LG
• 核心问题：预训练语料中大量低质量代码和数学文本被直接丢弃，如何通过改写（rewriting）而非排除（exclusion）来最大化数据效用？
• 关键发现：
  • 提出”Transform-and-Retain”方法论：不是过滤掉低质量数据，而是用 LLM 将其改写为高质量数据。SwallowCode（161 亿 token）通过四阶段流水线（语法校验 → Pylint 风格过滤 → 风格一致性改写 → 自包含高效示例改写）改写 Python 代码；SwallowMath（23 亿 token）去除冗余、恢复上下文、重格式化为逐步解释。
  • 在 500 亿 token 固定训练预算下，Llama-3.1-8B + SwallowCode 在 HumanEval 上 pass@1 提升 +17.0（vs Stack-Edu），HumanEval+ 提升 +16.1；SwallowMath 在 GSM8K 上 +12.4，MATH 上 +7.6。
  • 消融实验表明每个流水线阶段均有增量贡献，其中改写阶段的增益最大。
• 实践启示：对于数据稀缺的领域（数学、代码），“改写保留”策略远优于”过滤丢弃”。该工作提供了可复现的流水线和开放数据集（Llama 3.3 License），为构建领域高质量预训练语料提供了可迁移的方法论。

---

Data Mixing Can Induce Phase Transitions in Knowledge Acquisition

• 论文信息：Data Mixing Can Induce Phase Transitions in Knowledge Acquisition，arXiv:2505.18091，cs.LG / cs.AI / cs.CL，NeurIPS 2025 Spotlight
• 核心问题：数据配比（mixing ratio）如何影响大模型的知识获取？是否存在非连续的”相变”现象？
• 关键发现：
  • 在合成传记数据集与网页爬取数据的混合实验中，发现了知识获取的相变现象：（1）随着模型规模增大到临界值，模型从”几乎无法记忆传记”突然跳变到”记忆大部分传记”；（2）低于临界配比时，无论训练多久都几乎无法记忆，但越过阈值后记忆量迅速上升。
  • 将此归因于”容量分配”现象——模型在有限容量下需像背包问题求解器一样最小化总测试损失，最优分配可随模型规模或配比变化而非连续地跳变。
  • 在信息论框架下形式化该直觉，发现临界配比与模型规模之间遵循幂律关系，且相变是可预测的。
• 实践启示：大模型的最优配比方案不适用于小模型，反之亦然。在资源受限场景下做数据配比实验时，需警惕平滑缩放律的假设——知识获取可能是非连续的。配比搜索应考虑模型规模的临界阈值效应。

---

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

• 论文信息：Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models，arXiv:2505.22232，cs.CL / cs.AI / cs.LG
• 核心问题：现有预训练数据质量过滤方法以启发式为主，跨语言泛化能力差，如何构建可扩展的多语言质量过滤管线？
• 关键发现：
  • 提出 JQL 方法：将 LLM 的标注能力蒸馏为基于多语言预训练嵌入的轻量级标注器，在大幅降低计算需求的同时保持标注质量。
  • 蒸馏后的轻量模型展现出强大的多语言和跨语言性能——即使对训练时未见过的语言和书写系统也表现稳健。
  • 在 35 种语言上的实证评估表明，JQL 显著优于当前启发式过滤方法（如 FineWeb2），提升了下游模型训练质量，并提高了数据保留率。
• 实践启示：JQL 为多语言预训练数据策展提供了可扩展的范式——不再需要为每种语言单独设计启发式规则，而是通过嵌入蒸馏实现一次训练、多语言复用。对低资源语言的数据质量提升尤其有价值。

---

When Bad Data Leads to Good Models

• 论文信息：When Bad Data Leads to Good Models，arXiv:2505.04741，cs.LG / cs.AI / cs.CL，ICML 2025
• 核心问题：预训练数据质量越高模型越好——这个常识是否总是成立？如果在预训练-后训练协同设计视角下重新审视”质量”的含义呢？
• 关键发现：
  • 通过 OLMo-1B 在不同比例的”有毒/干净”数据上训练的对照实验发现：预训练中有毒数据比例越高，“毒性”概念在表示空间中的线性表示越不纠缠。
  • 虽然有毒数据会增加基础模型的生成毒性，但也使毒性变得更容易移除——应用推理时干预（ITI）等去毒技术后，在 ToxiGen 和 Real Toxicity Prompts 上的评估表明，有毒数据训练的模型在降低生成毒性和保持通用能力之间取得了更好的权衡。
  • 本质上：预训练时”见过”更多毒性的模型，对毒性的内部表征更清晰，后训练时更容易精准调控。
• 实践启示：这挑战了”数据越干净越好”的简单信念。在预训练-后训练协同视角下，不应盲目追求”纯净”预训练数据——保留一定的”坏”数据可能让模型对不良行为形成更清晰的内部表征，从而使后训练的安全对齐更有效。这为”要不要在预训练数据中保留而非删除有毒内容”提供了新的论据。

---

Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning

• 论文信息：Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning，arXiv:2505.24844，cs.LG / cs.CL，ICML 2025
• 核心问题：现有数据配比方法计算代价高、引入新数据时需重新训练，如何构建高效且灵活的数据混合框架？
• 关键发现：
  • 提出 Chameleon 框架：利用杠杆分数（Leverage Scores）在学习的嵌入空间中量化领域重要性，先构建领域嵌入的亲和度矩阵，再通过杠杆分数确定混合权重——上调在嵌入空间中共享表征的领域权重。
  • 三个关键场景的改进：（i）预训练场景下，以现有方法几分之一的计算量获得更好的领域权重；（ii）当数据发生变化时，无需代理重训练即可自适应，迁移到新数据时提升 few-shot 推理准确率；（iii）微调场景下，在所有微调领域上一致改善测试困惑度。
• 实践启示：Chameleon 解决了数据混合的实际痛点——当新增领域数据时，无需重新训练代理模型即可高效更新配比。这对持续迭代预训练语料的场景（如每周/月新增爬取数据）尤为实用。基于嵌入空间的杠杆分数方法兼具理论优雅性和工程实用性。

---

本期小结

本期五篇论文从不同角度重新审视了”数据质量”的内涵：2505.02881 证明改写低质量数据比丢弃更有效；2505.18091 揭示数据配比可引发知识获取的相变——挑战了平滑缩放律的假设；2505.22232 展示了嵌入蒸馏如何突破多语言质量过滤的瓶颈；2505.04741 则从预训练-后训练协同视角颠覆性地指出”坏数据”可能带来更好的模型；2505.24844 提供了高效可迁移的数据混合框架。这些工作共同指向一个趋势：大模型数据工程正从”静态策展”走向”动态优化”——不再仅仅关注数据的静态质量标签，而是深入理解数据在训练动态中的角色和交互效应。