合成数据的精细化时代：从暴力扩增到结构化设计
精选 4 篇关于合成数据高效利用、偏好数据生成与数据混合解耦的最新论文
今日精选
本期共推荐 4 篇论文，聚焦合成数据的高效利用与结构化设计。一个越来越明确的信号是：合成数据不再是简单的”量的扩充”，而是需要精心设计数据结构、选择策略和质量验证流程。
1. Data-efficient Pre-training by Scaling Synthetic Megadocs
作者：Konwoo Kim, Suhas Kotha, Yejin Choi, Tatsunori Hashimoto, Nick Haber, Percy Liang | 机构：Stanford University, University of Washington 链接：arXiv · PDF
核心发现：
当预训练受限于数据量而非算力时，如何设计合成数据策略才能最大化收益？这篇来自斯坦福和华盛顿大学的论文给出了一个出人意料的答案：把同一文档的多个合成版本拼成一个”巨型文档”（Megadoc），比保留多个短文档效果更好。
研究发现，在网络数据中混合合成的改写文本进行预训练，即使合成数据与原始数据分布截然不同，也能改善网络数据上的验证损失。通过最佳混合配置，为每篇文档生成 32 个改写版本时，数据效率提升了 1.48 倍。
更关键的创新在于 Megadocs 的构建方式。论文提出两种方法：(1) 拼接法——将同一文档的多个改写版本首尾相连；(2) 延伸法——通过插入推理说明（rationale）来扩展文档。这两种方法都优于简单改写，尤其在长上下文损失上表现突出。使用 Megadocs 后，数据效率从 1.48 倍进一步提升到 1.80 倍。
对数据工作的启示：
这篇论文的实践价值非常直接：如果你已经在用合成数据扩充预训练语料，不要只是简单地把改写版本当作独立样本塞进数据集。尝试将同源文档的多个版本合并成长文档——这不仅能提升数据效率，还能顺带增强模型的长上下文能力。
更深层的启示是：合成数据的组织方式（data structure）可能和合成数据本身一样重要。传统的”生成更多独立样本”思路正在被”设计更好的数据结构”所补充。对于数据团队来说，这意味着合成数据 pipeline 不能止步于”生成”环节，后续的”组装”环节同样值得投入精力。
2. DeMix: Decouple Searching from Training — 通过模型合并扩展数据混合
作者：Shengrui Li, Fei Zhao, Kaiyan Zhao, Jieying Ye, Haifeng Liu, Fangcheng Shi, Zheyong Xie, Yao Hu, Shaosheng Cao | 机构：（多机构合作） 链接：arXiv · PDF
核心发现：
数据混合配比优化是预训练的关键问题，但现有方法面临一个两难：小规模代理实验不可靠，大规模探索又太贵。DeMix 提出了一个优雅的解法：将搜索成本与训练成本解耦。
核心思路是：不再为每个候选配比单独训练代理模型，而是在大规模上为每个候选数据源训练独立的”组件模型”（component model），然后通过加权模型合并来模拟不同配比的效果。这样一来，搜索阶段可以零成本评估无限数量的混合方案，只需要调整合并权重即可。
大量实验表明，DeMix 打破了现有方法在充分性、准确性和效率之间的三角困境——以更低的搜索成本找到了更优的混合配比，下游 benchmark 表现更好。论文还开源了 DeMix Corpora，一个包含 22T tokens 的高质量预训练数据集，附带经过验证的最优混合配比。
对数据工作的启示：
DeMix 的方法论解决了一个非常现实的工程难题：你想调数据配比，但又不想为每种方案都跑一轮完整训练。通过”训练组件模型 → 合并模拟”的思路，可以把配比搜索的成本降低一到两个数量级。
具体落地建议：(1) 将你的语料库按数据源拆分，为每个源单独训练一个小模型（1-3B）；(2) 用模型合并（如 SLERP、TIES 等方法）模拟不同配比；(3) 在验证集上评估找到最优组合；(4) 再用最优配比训练大模型。这套流程的前三步可以在一周内完成，远比传统的网格搜索高效。
22T token 的 DeMix Corpora 本身也是一个有价值的资源——不仅可以直接使用，还可以作为”配比参考”来校准自己的数据集。
3. ActiveUltraFeedback: 用主动学习高效生成偏好数据
作者：Davit Melikidze, Marian Schneider, Jessica Lam, Martin Wertich, Ido Hakimi, Barna Pásztor, Andreas Krause | 机构：ETH Zurich 链接：arXiv · PDF · Code · Data
核心发现：
RLHF 已成为大模型对齐的标配，但偏好数据的标注成本极高——尤其在专家领域和低资源场景。ActiveUltraFeedback 提出了一个模块化的主动学习管线，核心思路是：不是对所有回答都标注偏好，而是用不确定性估计找出最值得标注的回答对。
论文引入了两种新的样本选择策略：(1) Double Reverse Thompson Sampling (DRTS)——优先选择质量差距大的回答对；(2) DeltaUCB——结合置信上界来平衡探索与利用。这两种方法的理论基础来自最新研究发现：质量差距明显的配对能为微调提供更强的学习信号。
实验结果令人印象深刻：ActiveUltraFeedback 仅用 六分之一的标注数据就达到了与全量标注基线相当甚至更优的下游性能。论文还开源了完整的代码管线和生成的偏好数据集。
对数据工作的启示：
对于正在构建 RLHF 管线的团队，这篇论文的实践价值极高：
- 标注预算可以砍 80%+——用主动学习选样后，六分之一的数据量就够了
- 选择”差距大的对”——不要均匀地标注所有回答对，优先标注质量差异明显的（模型预测差异大的）
- 代码和数据全部开源——可以直接集成到现有管线中
这也再次验证了一个数据工程的核心原则：数据的”信息密度”比数据量更重要。与其盲目扩大标注量，不如精心选择每一条标注的信息量。
4. CHIMERA: 9K 样本实现跨领域推理的紧凑合成数据
作者：Xinyu Zhu, Yihao Feng, Yanchao Sun, Xianzhi Du, Pingzhi Li, Olli Saarikivi, Yun Zhu, Yu Meng | 机构：（多机构合作） 链接：arXiv · PDF
核心发现：
在推理数据领域，一个常见困境是：现有开源推理数据集大多集中在数学领域，缺乏广泛的科学领域覆盖；而要获取高难度推理任务的人工标注又成本极高。CHIMERA 提出了一种”少而精”的思路：仅用 9K 个精心设计的合成样本，就能实现跨 8 个科学领域的泛化推理能力。
CHIMERA 的设计有三个关键：(1) 丰富的推理轨迹——由 SOTA 推理模型生成长链式思维（chain-of-thought）轨迹，确保每个样本的推理深度；(2) 结构化覆盖——通过模型生成的层次分类法，覆盖 8 个主要科学学科和超过 1000 个细粒度主题；(3) 自动化验证——用强推理模型交叉验证问题有效性和答案正确性。
用 CHIMERA 后训练的 4B 参数 Qwen3 模型，在 GPQA-Diamond、AIME 24/25/26、HMMT 25、Humanity’s Last Exam 等多个挑战性推理 benchmark 上表现强劲，接近或匹配了 DeepSeek-R1 和 Qwen3-235B 等大得多的模型。
对数据工作的启示：
CHIMERA 的成功传递了一个强烈信号：推理数据的质量和覆盖度远比数量重要。9K 样本能匹敌百万级数据集的效果，关键在于：
- 设计好分类体系再生成数据——先用层次分类法规划覆盖范围，再逐主题生成，避免领域偏倚
- 让强模型生成、强模型验证——生成和验证要分开，避免自我确认偏差
- 每个样本都要”够深”——长链式思维轨迹比大量浅层 QA 对更有价值
对于中小团队来说，这是一个非常好的消息：你不需要百万级标注预算，只需要精心设计几千条高质量推理样本，就能显著提升模型推理能力。
今日快览
| 论文 | 机构 | 亮点 |
|---|---|---|
| The LLM Data Auditor | 多机构 | 提出合成数据质量与可信度的统一评估框架，覆盖六种模态 |
| HopChain: Multi-Hop Data Synthesis | Qwen (阿里) | 多跳合成数据提升视觉-语言推理泛化能力，HuggingFace 热度 94 |
| Continual Pretraining on Encrypted Synthetic Data | 多机构 | 探索在加密合成数据上持续预训练，兼顾隐私保护与模型性能 |
编者按
今天推荐的四篇论文勾勒出一个清晰的趋势：合成数据正在从”暴力扩增”走向”精细化设计”。
Megadocs 告诉我们，数据的组织结构和数据内容一样重要。DeMix 告诉我们，配比搜索可以和训练完全解耦，让实验成本降低一个数量级。ActiveUltraFeedback 告诉我们，用主动学习精选标注样本，六分之一的数据就够了。CHIMERA 更是将这个理念推向极致——9K 个精心设计的样本就能匹敌大规模数据集。
对数据工程从业者来说，这意味着工作重心需要从”如何生成更多数据”转向”如何设计更好的数据”。构建分类体系、设计验证流程、优化数据组织方式——这些”生成前”和”生成后”的工作，可能比生成过程本身更重要。