数据效率的新边界：从合成 Megadocs 到 Agent 驱动的数据系统
本期聚焦数据效率的突破性进展——合成 Megadocs 将预训练数据效率提升 1.8 倍、以数据为中心的下一代训练系统愿景、2 万亿 token 的合规预训练语料库、以及合成数据选择的理论基础
今日精选
本期共推荐 4 篇论文深度解读 + 3 篇快览，聚焦数据效率的新边界——斯坦福团队证明将合成改写组合为”Megadocs”可将数据效率提升至 1.8 倍，一篇愿景论文描绘了 Agent 驱动的自动数据准备系统蓝图，ICLR 2026 Oral 论文发布了 2 万亿 token 的合规多语言预训练语料库，而另一篇 ICLR Oral 从高维回归视角首次揭示了合成数据选择的理论最优条件。
1. Data-Efficient Pre-training by Scaling Synthetic Megadocs
作者：Konwoo Kim, Suhas Kotha, Yejin Choi, Tatsunori Hashimoto, Nick Haber, Percy Liang | 机构：斯坦福大学 链接：arXiv · PDF
核心发现：
当预训练受限于数据而非算力时，合成数据增强是最直接的应对策略。但一个关键问题是：如何设计合成数据算法，使其不仅在有限算力下降低损失，还能在算力趋近无穷时仍保持优势？
本文提出了一个出乎意料的发现：来自同一源文档的多个合成改写不应作为独立的短文档使用，而应组合成一个单一的超长文档——作者称之为 Megadocs。两种构建方式被验证有效：(1) 将同一网页文档的多个改写版本拼接成一个长文档；(2) 通过插入推理依据来”拉伸”文档。
关键数据：在每份文档 32 次合成生成的设定下，简单改写的数据效率为 1.48 倍（即用 1 份数据达到 1.48 份原始数据的效果），而 Megadocs 将其提升到 1.80 倍。更重要的是，随着合成数据量增加，Megadocs 相对于简单改写的优势持续扩大，而非收窄。在长上下文损失上的改善尤为显著。
对数据工作的启示：
这项工作挑战了一个隐含假设：合成数据应该模仿原始数据的格式。Megadocs 的成功表明，合成数据的组织方式可能比内容本身更重要。
具体到实践：(1) 如果你已经在做合成改写，尝试把同源改写拼接起来训练——这是一个几乎零成本的改进；(2) “拉伸”文档的思路（插入推理依据）与上期 Synthetic Mixed Training 的焦点重写技术异曲同工，说明”让合成数据承载更丰富的结构信号”是一个值得系统性探索的方向；(3) 1.8 倍的数据效率意味着在数据受限场景下，算力投入的有效产出接近翻倍，这对小团队尤其有吸引力。
2. Towards Next-Generation LLM Training: From the Data-Centric Perspective
作者：Hao Liang, Zhengyang Zhao, Zhaoyang Han 等 | 机构：（Wentao Zhang, Weinan E 团队） 链接：arXiv · PDF
核心发现：
这是一篇视角鲜明的愿景论文，指出了当前 LLM 数据工程的两个根本性瓶颈，并提出了系统性的解决方向。
瓶颈一：数据准备仍停留在”脚本时代”。 当前 LLM 训练数据通常用临时脚本构建，缺乏成熟的、基于 Agent 的数据准备系统来自动构建稳健且可重用的数据工作流。数据科学家仍在重复且容易出错的工程工作中挣扎。
瓶颈二：数据利用缺乏动态性。 一旦数据集收集完成，训练过程中通常全部消耗，缺乏系统性的数据选择、混合优化或动态重新加权机制。
论文主张两个互补的研究方向：(1) 构建 Agent 驱动的自动数据准备系统，支持自动工作流构建和可扩展的数据管理；(2) 建立 统一的数据-模型交互训练系统，在训练过程中动态选择、混合和重新加权数据，实现性能感知的自适应数据利用。
对数据工作的启示：
这篇论文准确命中了数据工程从业者的痛点。“临时脚本”构建数据 pipeline 是行业常态，但随着模型规模和数据复杂度增长，这种方式的可维护性和可复现性越来越成问题。
两个值得关注的方向：(1) Agent 驱动的数据准备 不是空想——考虑到当前 Agentic Coding 的快速发展，让 Agent 自动执行数据清洗、过滤、质量评估等 pipeline 步骤在技术上已经可行，关键是如何设计可验证的质量门控；(2) 训练时动态数据选择 与上期提到的 ADAPT 框架（在线自适应重加权）以及 ICLR 2025 的 Quad（质量-多样性平衡选择）属于同一方向，正在形成一个研究热点。对于有条件的团队，值得开始投入。
3. Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
作者：Pierre-Carl Langlais, Pavel Chizhov, Catherine Arnett 等 | 机构：多机构联合 链接：OpenReview · ICLR 2026 Oral
核心发现：
训练数据的版权合规性正从”可以忽略的细节”变成”必须解决的问题”。Common Corpus 是迄今最大的开放合规预训练数据集，包含约 2 万亿个 token，所有数据要么不受版权保护，要么采用宽松许可。
数据集的多语言覆盖值得关注：不仅包含高资源欧洲语言，还纳入了在预训练数据中很少出现的低资源语言，以及大量代码数据。数据源在领域和时间跨度上都具有多样性。作者在该数据集上训练了两个小型语言模型，性能与同尺寸模型相当，验证了其可用性。
作为 ICLR 2026 Oral 被接收，说明学术界对数据合规问题的重视程度达到了新高度。
对数据工作的启示：
这项工作的意义不止于又一个大数据集。它释放了一个明确信号：数据合规正在从法务部门的事情变成数据工程师的核心工作内容。
几个实操要点：(1) 如果你的团队还没有建立数据来源追溯（data provenance）机制，现在是时候了——EU AI Act 已经在要求这一点；(2) 2T token 的合规数据虽然听起来很多，但与 FineWeb 等不做版权筛选的数据集相比仍有差距。这意味着在合规约束下，数据效率技术（如本期论文 1 的 Megadocs）的价值会被进一步放大；(3) Common Corpus 可以作为合规训练的起点数据集，配合领域特定的合规数据做继续预训练。
4. High-dimensional Analysis of Synthetic Data Selection
作者：Parham Rezaei, Filip Kovačević, Francesco Locatello, Marco Mondelli | 机构：IST Austria 等 链接：OpenReview · ICLR 2026 Oral
核心发现：
合成数据正在被广泛使用，但”什么样的合成数据有用”这个问题一直缺乏严格的理论回答。这篇 ICLR 2026 Oral 论文从高维回归视角给出了首个精确分析。
核心理论结果有两个令人惊讶之处：(1) 协方差偏移（covariance shift）会影响泛化误差，但均值偏移不会——也就是说，合成数据的”形状”比”位置”重要得多；(2) 在特定条件下，匹配目标分布的协方差是最优策略。
更有价值的是，这些针对线性模型的理论结论被实证验证同样适用于深度神经网络和生成模型。基于此理论，作者提出了一种简单的”协方差匹配”方法——将合成数据的协方差与目标数据的协方差对齐——在多种训练范式、数据集和生成模型上均优于现有合成数据选择方法。
对数据工作的启示：
这是一个难得的”理论指导实践”的案例。“协方差比均值重要”这个结论翻译成直觉语言就是：合成数据的多样性模式（变量间的相关结构）比它与真实数据的平均相似度更关键。
实操建议：(1) 在评估合成数据质量时，除了常规的相似度指标外，加入协方差匹配度的检查——这可能是一个被严重忽视的维度；(2) 如果你在用 LLM 生成合成训练数据，尝试调整生成策略以保持输出的多样性结构，而不是一味追求”像真实数据”；(3) 这个理论框架也为合成数据的自动质量筛选提供了新的可操作指标。
今日快览
| 论文 | 机构 | 亮点 |
|---|---|---|
| Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining | 复旦大学（邱锡鹏团队）等 | 逆向重构代码仓库的开发过程（规划、调试、迭代轨迹）作为预训练数据，在 Llama-3-8B 上显著提升代码、长上下文和 Agent 能力 |
| Reinforcement Learning on Pre-Training Data (RLPT) | 腾讯等 | 提出”下一片段推理”目标，直接从预训练数据获取 RL 奖励信号，无需人工标注，Qwen3-4B-Base 上 MMLU/GPQA/AIME 均有显著提升 |
| OpenThoughts: Data Recipes for Reasoning Models | ICLR 2026 Oral | 推理模型的”数据配方”——系统研究训练数据的构成如何影响推理能力，为构建推理训练集提供实证指南 |
编者按
本期论文共同指向一个越来越清晰的趋势：数据工程正在从手工活儿变成系统工程。
合成 Megadocs（论文 1）表明数据组织方式的创新可以带来显著效率提升，Agent 驱动的数据系统愿景（论文 2）描绘了自动化数据准备的未来图景，Common Corpus（论文 3）展示了合规约束下的大规模数据集构建实践，而协方差匹配理论（论文 4）则为合成数据选择提供了可操作的理论指导。
如果把这四篇论文的洞察串联起来，一个可落地的数据策略浮现出来：以合规数据集为基础（Common Corpus），通过 Megadocs 式的合成增强提升数据效率，用协方差匹配来确保合成数据质量，最终由 Agent 系统自动化整个流程。这不是遥远的未来——每一步在技术上都已经可行，缺的是把它们整合成端到端系统的工程投入。