数据工程观察 · Vol.11

合成数据的质量博弈：当训练语料由 AI 生成，如何在效率、质量与崩溃之间走钢丝

系统解读合成数据在预训练中的角色演变——从 Meta 的 30% 黄金配比、Apple 对质量过滤的颠覆性质疑，到模型崩溃的理论边界与验证逃逸，再到 Megadocs 和 MGA 开辟的数据扩增新范式

2026年4月2日合成数据 synthetic data 模型崩溃 model collapse 数据质量 data quality Scaling Laws FineWeb Megadocs MGA 数据扩增质量过滤 CQF

本期主题：合成数据——救星还是慢性毒药？

上期我们梳理了去重技术的完整栈。但去重解决的是”已有数据中的冗余”，一个更根本的问题是：当高质量自然数据不够用时，AI 生成的合成数据能不能填补缺口？

答案正在变得越来越复杂。

2024-2026 年，合成数据在预训练中的角色经历了一轮完整的期望-失望-重建周期。最初的乐观（Phi-1.5 全合成训练）让位于清醒的认知——纯合成数据有严重的局限性；然后，一系列严谨的实证研究开始勾勒出合成数据的真实边界：多少比例合适、什么形式有效、什么条件下会引发模型崩溃、以及我们对”数据质量”的理解本身是否存在盲区。

本期围绕四个核心问题展开深度解读：

混合配比：合成数据与自然数据的最优比例是多少？
质量幻觉：我们以为的”高质量过滤”真的在衡量质量吗？
崩溃边界：什么条件下合成数据会引发模型崩溃？能否逃逸？
扩增前沿：下一代合成数据技术长什么样？

一、30% 黄金配比：Meta 的万小时实验

”Demystifying Synthetic Data in LLM Pre-training” (Meta FAIR / EMNLP 2025)

来自 Meta FAIR（Feiyang Kang, Newsha Ardalani, Michael Kuchnik 等 10 人，含 Carole-Jean Wu）

这可能是迄今为止关于”合成数据在预训练中到底有多大用”的最大规模实证研究：训练了超过 1000 个 LLM，消耗超过 10 万 GPU 小时。

核心实验设计：

在统一的协议和 Scaling Laws 框架下，系统比较了三类数据：

自然网络文本（Natural Web Data）
改写合成数据（Rephrased Synthetic Data）—— 用 LLM 对自然文本进行改写
教科书风格合成数据（Textbook-Style Synthetic Data）—— 用 LLM 从零生成

三种数据类型的对比：

自然网络文本         改写合成数据           教科书风格合成数据
┌──────────┐     ┌──────────────┐     ┌──────────────┐
│ 原始 CC   │     │ 自然文本 →   │     │ Prompt →     │
│ 过滤后    │     │ LLM 改写     │     │ LLM 从零生成 │
│           │     │              │     │              │
│ 信息多样  │     │ 保留信息     │     │ 结构化       │
│ 噪声多    │     │ 表达更清晰   │     │ 领域窄       │
│ 覆盖广    │     │ 格式规范化   │     │ 缺乏多样性   │
└──────────┘     └──────────────┘     └──────────────┘

六个关键发现：

发现	详情	实践意义
① 纯改写不快于自然文本	单独使用改写数据，预训练速度和自然文本持平	改写本身不创造新信息
② 混合才是关键	1/3 改写 + 2/3 自然文本 → 5-10× 训练加速	合成数据的价值在于互补
③ 教科书数据单独用很危险	纯教科书数据在多个下游领域损失显著更高	教科书风格过于单一
④ 最优比例约 30%	跨模型规模和预算，改写数据最优比例收敛于 ~30%	不是越多越好
⑤ 生成器不需要太大	>8B 参数的生成器不比 8B 的效果更好	节省生成成本
⑥ 改写数据不触发崩溃	单轮训练中未观察到性能退化	安全的扩增手段

发现 ② 最值得深入理解：为什么混合比纯合成或纯自然都好？

改写数据的真正价值不在于”更高质量”，而在于提供了同一信息的不同表达方式。模型看到多种措辞描述同一个概念，更容易提取出底层的语义结构，而不是记住特定的表面模式。但如果全是改写数据，就丧失了自然数据的多样性和真实分布——网络数据虽然噪声大，但覆盖了几乎所有人类知识领域。

30% 的改写 + 70% 的自然数据，恰好在”表达多样性”和”内容多样性”之间取得了平衡。

发现 ⑤ 也很有实践价值：8B 生成器 vs 70B 生成器，改写质量差异不大。这意味着合成数据生成的成本可以大幅降低——不需要用最大的模型来改写。

对实践的启示：

混合使用，比例 ~30% 改写数据，70% 自然数据

生成器选 8B 级别即可，节省推理成本

改写优于从零生成——保留原始信息的多样性至关重要

教科书风格数据应谨慎使用，不宜大比例混入预训练

二、质量幻觉：当”高质量过滤”不过滤质量

”The Data-Quality Illusion: Rethinking Classifier-Based Quality Filtering for LLM Pretraining” (Apple / ICLR 2026)

来自 Apple + 牛津大学（Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin）

这篇论文对数据工程领域最常用的方法之一——基于分类器的质量过滤（Classifier-based Quality Filtering, CQF）——发起了根本性挑战。

什么是 CQF？

CQF 是目前几乎所有主流预训练数据管线的核心组件。从 GPT-3 开始，到 FineWeb、DCLM、RedPajama，都在用这个范式：

CQF 标准流程：

步骤 1：定义"高质量"参考集
  通常是 Wikipedia + 书籍 + 经过人工审核的数据

步骤 2：训练二元分类器
  正类 = 高质量参考集
  负类 = 原始预训练数据（如 Common Crawl）
  模型：fastText / sBERT / Artic-Embed

步骤 3：对全量预训练数据打分
  每个文档获得一个 0-1 之间的"质量分"

步骤 4：保留 Top-K%
  通常保留 10-30% 的数据，丢弃其余

直觉上，这个流程很合理：分类器学会了区分”像 Wikipedia 的高质量文本”和”原始网页噪声”，分数高的文档就是”好数据”。几乎所有人都这样理解。

Apple 的颠覆性发现：

CQF 确实能提升下游任务性能——这没有争议。但它并没有真正衡量”数据质量”。

预期的因果链：
  CQF 过滤 → 保留高质量数据 → 模型在高质量数据上学得更好
                                → 下游性能提升
实际的因果链：
  CQF 过滤 → 改变了数据分布（向 Wikipedia 偏移）
           → 模型隐式地适配了基准测试的分布
           → 下游性能提升
           BUT: 语言建模能力并未真正提高

关键实验：

语言建模 vs 下游任务的脱钩：经过 CQF 过滤后训练的模型，在下游 benchmark 上表现更好，但在高质量参考集本身上的语言建模损失并没有降低。如果 CQF 真的在筛选”更好的语言数据”，那模型的语言建模能力应该也提升才对。
隐性分布过滤：CQF 分类器不仅在过滤预训练数据——它同时也在隐性地过滤评估基准本身。它学到的不是”什么是好文本”，而是”什么文本的分布更接近 Wikipedia”。这是两个完全不同的概念。
随机 token 排列对照实验：研究人员用随机打乱 token 顺序的方式生成”合成数据”（这些数据在语言学意义上毫无质量可言），然后比较 CQF 模型与这些合成数据模型的行为——两者的趋势完全不同，这进一步证明 CQF 捕捉的不是”语言质量”本身。

对实践的启示：这不是说 CQF 没用——它在实践中确实有效。但我们需要重新理解它为什么有效：不是因为它筛选了”高质量”文本，而是因为它将训练分布向某个有利于下游任务的方向偏移。

这意味着：

CQF 的效果高度依赖参考集的选择。换一个参考集（比如用代码库替代 Wikipedia），过滤出的数据和模型表现会完全不同

“质量”是个相对概念。没有绝对的好数据或坏数据，只有”对特定目标更有用的数据”

过度依赖 CQF 可能引入系统性偏差——模型会过度适配参考集的分布特征

与 Vol.9 讨论的 QuRating 多维评估和 Meta-rater 自动权重优化相结合来看，数据质量评估正在从”一维分类”走向”多维、目标感知的评估”——这是正确的方向。

三、模型崩溃：1‰ 的合成数据就能毁掉 Scaling Laws

当我们讨论合成数据的风险时，“模型崩溃”是绕不开的话题。2024-2025 年的两项关键工作，从理论和实验两个层面界定了崩溃的边界。

“Strong Model Collapse” (ICLR 2025)

来自 Dohmatob, Feng, Subramonian, Kempe

这篇 ICLR 2025 论文提出了一个令人警醒的理论结果：模型崩溃不需要迭代自训练——单次训练中混入合成数据就可以发生。

弱模型崩溃（此前的理解）：
  模型 v1 生成数据 → 训练模型 v2
  模型 v2 生成数据 → 训练模型 v3
  ...
  → 经过多代迭代，性能逐渐退化

强模型崩溃（本文的发现）：
  训练数据 = 真实数据 + 少量合成数据
  → 单次训练中，Scaling Laws 就开始失效
  → 甚至 0.1% 的合成数据污染就可能破坏缩放行为

核心理论结果：

在监督回归设定下（覆盖随机特征模型、核岭回归等），论文证明：

条件	缩放行为
纯真实数据	损失 ∝ N^{-α}（标准 power law）
混入 ε 比例合成数据	损失 → 常数下界（scaling 平台化）
ε → 0	下界也不为零（理论上，任何非零污染都有影响）

更令人不安的是，更大的模型可能放大崩溃效应——直觉是更大的模型有更多容量去”记住”合成数据引入的分布伪影。

实验验证：

在 GPT-2 + BabiStories 和图像分类任务上，实验结果与理论预测一致：即使微量的合成数据污染，也能在单次训练中观察到 Scaling Laws 的退化。

“Collapse or Thrive? Perils and Promises of Synthetic Data” (ICML 2025)

来自 Stanford / Koyejo Lab（Joshua Kazdan, Rylan Schaeffer 等）

如果”Strong Model Collapse”是坏消息，这篇论文则是有条件的好消息：合成数据不一定导致崩溃，关键在于你怎么用。

三种数据使用策略的对比：

策略 1：完全替换（Replace）
  第 N 代：用 v(N-1) 生成的数据完全替换真实数据
  结果：✗ 所有任务都崩溃

策略 2：累积混合（Accumulate）
  第 N 代：真实数据 + v1 合成 + v2 合成 + ... + v(N-1) 合成
  结果：✓ 测试损失不发散，模型保持稳定

策略 3：受限累积（Bounded Accumulate）
  第 N 代：累积数据中随机采样固定大小子集
  结果：△ 缓慢退化，但不爆炸式崩溃

关键洞察：合成数据的危险不在于它本身，而在于它被使用的方式。如果合成数据完全替代了真实数据，崩溃不可避免。但如果真实数据始终作为”锚点”保留在训练集中，合成数据可以安全地叠加使用。

“Escaping Model Collapse via Synthetic Data Verification” (ICLR 2026)

来自 Bingji Yi, Qiyuan Liu, Yuwei Cheng, Haifeng Xu

这篇 ICLR 2026 论文提出了一个更积极的方案：通过外部验证器过滤合成数据，可以逃逸模型崩溃。

验证逃逸机制：

无验证的迭代训练：
  模型 → 生成合成数据 → 训练 → 模型' → 生成 → ...
  → 误差累积 → 崩溃

有验证的迭代训练：
  模型 → 生成合成数据 → 验证器过滤 → 训练 → 模型' → ...
  → 验证器注入外部信息 → 打断误差累积 → 不崩溃

验证器 = 人工审核员 / 更强的模型 / 规则系统

理论结果（线性回归设定）：

短期：验证器引导的重训练带来性能提升
长期：参数估计收敛到验证器的”知识中心”
局限：除非验证器完美可靠，收益最终会平台化

对实践的启示——三篇论文的综合判断：

场景风险等级建议
改写数据 + 自然数据混合训练 🟢 低 Meta 实验证明安全
纯合成教科书数据训练 🔴 高可能触发崩溃
迭代自训练（无验证） 🔴 极高几乎必然崩溃
迭代自训练 + 验证器 🟡 中短期有效，长期受限
累积混合（保留真实数据） 🟢 低推荐的安全策略

黄金法则：永远保留真实数据作为锚点。合成数据是增强剂，不是替代品。

场景	风险等级	建议
改写数据 + 自然数据混合训练	🟢 低	Meta 实验证明安全
纯合成教科书数据训练	🔴 高	可能触发崩溃
迭代自训练（无验证）	🔴 极高	几乎必然崩溃
迭代自训练 + 验证器	🟡 中	短期有效，长期受限
累积混合（保留真实数据）	🟢 低	推荐的安全策略

四、数据扩增的新范式：Megadocs 与 MGA

既然合成数据的角色不是替代而是增强，那什么样的增强方式效果最好？两项最新工作开辟了”超越简单改写”的新方向。

“Data-efficient Pre-training by Scaling Synthetic Megadocs” (Stanford, 2026)

来自 Stanford（Konwoo Kim, Suhas Kotha, Yejin Choi, Tatsunori Hashimoto, Nick Haber, Percy Liang）

简单改写的瓶颈在哪里？Meta 的实验已经表明，改写数据比例超过 ~30% 后收益递减。这篇 Stanford 的新工作找到了一个巧妙的突破口。

核心洞察：来自同一文档的多个改写，不应被当作独立的短文档，而应组合成一个”巨型文档”。

传统改写 vs Megadocs：

传统方式：
  原始文档 D → 改写 D₁, D₂, D₃ (各自独立)
  → 三个短文档加入训练集
  → 模型分别看到三个片段

Megadocs 方式：
  方法 A：拼接（Concatenation）
    原始文档 D → 改写 D₁ + D₂ + D₃ → 拼接为一个长文档
    → 模型在一个上下文窗口内看到同一概念的多种表达

  方法 B：拉伸（Stretching）
    原始文档 D → 插入推理链/基本原理 → 拉长为深度文档
    → 模型学到更深层的推理过程

实验结果：

方法	数据效率提升	长上下文性能
简单改写 × 32	1.48×	基线
Megadocs 拼接 × 32	1.80×	显著提升
Megadocs 拉伸 × 32	1.80×	显著提升

更重要的是，随着合成数据量的增加，Megadocs 的优势在扩大——这意味着它的 Scaling 行为更好。

对实践的启示：Megadocs 的核心思想是把合成数据的组织方式从”增加数量”转向”增加深度”。与其生成 32 个独立的改写版本，不如把它们组合成一个结构化的长文档——让模型在单次前向传播中就能看到同一知识的多个视角。这与 Vol.10 讨论的”去重不是越多越好，多样性才是关键”一脉相承。

“Reformulation for Pretraining Data Augmentation (MGA)” (ByteDance Seed / ICLR 2026)

来自字节跳动 Seed + UCSC（Xintong Hao, Ruijie Zhu, Ge Zhang, Ke Shen, Chenggang Li）

MGA（Massive Genre-Audience Reformulation）提出了另一个维度的扩增——不是改变措辞，而是改变体裁和受众。

MGA 的核心思路：

传统改写：同一内容 → 换一种说法
  "卷积神经网络使用滤波器..." → "CNN 通过卷积核..."
  → 表面变化，深层信息不变

MGA 改写：同一内容 → 换一个体裁 × 换一个受众
  原文："卷积神经网络使用滤波器提取图像特征"

  → 体裁=教程 × 受众=高中生：
    "想象你在用放大镜逐像素观察一张照片..."

  → 体裁=学术综述 × 受众=ML 研究员：
    "自 LeCun (1989) 的开创性工作以来，
     局部感受野的层级组合..."

  → 体裁=代码教程 × 受众=Python 开发者：
    "import torch.nn as nn
     conv = nn.Conv2d(3, 16, kernel_size=3)..."

  → 同一知识，5 种完全不同的认知路径

关键设计选择：

轻量级生成器：只用 3.3B MoE 模型，而非 70B+ 大模型
体裁-受众矩阵：自动从原始文档生成合适的（体裁, 受众）组合
有限一致性：严格版（太保守）和宽松版（太自由）都不好，平衡版最优

实验结果（基于 SmolLM-Corpus 的 fineweb-edu-dedup）：

设置	原始数据	MGA 扩增后
Token 数	195B	770B（~3.9× 扩展）
1.7B 模型 GSM8K	基线	+6.06%
1.7B 模型 TriviaQA	基线	显著提升
对比 Cosmopedia	—	MGA 更优
对比 Nemotron-CC	—	MGA 更优

一个反直觉的发现：MGA 训练的模型在验证集上的损失反而更高，但在下游 benchmark 上表现更好。作者分析这是因为模型学到了更泛化的模式（而非记忆特定序列），类似于正则化效应。

对实践的启示：MGA 最大的启示是——合成数据的”多样性”不仅指措辞多样，还包括认知路径的多样。同一个知识点，用不同的体裁（教程/综述/代码/故事）和不同的受众层次来表达，比简单的改写提供了更多的信息增益。

而且 3.3B MoE 生成器 + 3.9× 扩展的成本是可控的——对于数据受限的团队，这是一条高性价比的路径。

五、合成数据的 Scaling Laws：到底能扩多远？

“Scaling Laws of Synthetic Data for Language Models” (Microsoft / COLM 2025)

来自微软（Zeyu Qin, Qingxiu Dong, Xingxing Zhang, Li Dong 等 13 人）

前面的工作回答了”合成数据有没有用”和”怎么用”，这篇论文试图回答一个更底层的问题：合成数据的 Scaling Laws 长什么样？

研究者提出了 SynthLLM 框架——通过图算法自动提取和重组多个文档中的高级概念，生成结构化的合成数据。

核心发现：

合成数据 Scaling Laws 的关键特征：

1. 遵循修正的 power law
   Loss ∝ f(N_synth) —— 合成数据量增加，损失下降
   BUT: 斜率比自然数据的 Scaling Law 更缓

2. 存在平台期
   ~300B tokens 后，性能增长显著放缓
   → 不是无限扩展的

3. 大模型更数据高效
   ┌──────────────────────────────────┐
   │  8B 模型：~1T tokens 达到峰值   │
   │  3B 模型：~4T tokens 才达到峰值 │
   │                                  │
   │  → 大模型从合成数据中学习更快   │
   │  → 小模型需要更多数据来弥补     │
   └──────────────────────────────────┘

对实践的启示：合成数据不是银弹。它遵循自己的 Scaling Laws，但天花板比自然数据来得更低更快（~300B tokens 平台期）。这意味着合成数据最适合作为补充而非替代——与 Meta 的 30% 黄金配比结论完全一致。

六、开源数据集与工具动态

数据集/工具	来源	规模	亮点
Ultra-FineWeb	清华 / 面壁智能	1T EN + 120B ZH tokens	fastText 过滤 + 高效验证策略，验证成本降低 90%+
MGACorpus	ByteDance Seed	770B tokens	MGA 体裁-受众改写，基于 fineweb-edu-dedup
Cosmopedia v2	HuggingFace	30M 文件 / 25B tokens	Mixtral-8x7B 生成的合成教科书/博客/故事
SynthLLM	Microsoft	可扩展	图算法概念重组，自动生成结构化合成数据

Ultra-FineWeb 值得特别关注：清华团队提出的高效验证策略，可以用极低成本快速评估数据对训练的影响——这正好回应了 Apple 的”质量幻觉”论文：与其依赖 CQF 的”质量分数”，不如直接用验证策略去衡量数据的实际训练效果。

合成数据技术演进全景

2023 ──────── 全合成尝试期
  │
  └─ Phi-1.5 (Microsoft)
      → 首个全合成预训练模型
      → 证明了可行性，但泛化有限

2024 ──────── 混合策略成熟期
  │
  ├─ Cosmopedia v1/v2 (HuggingFace)
  │   → 最大的开源合成教科书数据集
  │   → 25B tokens，Mixtral 生成
  │
  ├─ Model Collapse (Shumailov et al., Nature)
  │   → 首次在 Nature 上系统论证模型崩溃
  │   → 引发学界对合成数据风险的广泛关注
  │
  └─ Strong Model Collapse (ICLR 2025)
      → 单轮训练中的崩溃
      → 0.1% 合成污染就可能破坏 Scaling Laws

2025 ──────── 实证量化 + 崩溃逃逸
  │
  ├─ Demystifying Synthetic Data (Meta FAIR, EMNLP 2025)
  │   → 1000+ 模型实验，30% 黄金配比
  │   → 改写安全，教科书风险高
  │
  ├─ Scaling Laws of Synthetic Data (Microsoft, COLM 2025)
  │   → 合成数据有自己的 Scaling Laws
  │   → 300B tokens 平台期
  │
  ├─ Collapse or Thrive (ICML 2025)
  │   → 累积混合不崩溃，完全替换必崩溃
  │   → "怎么用"比"用不用"更重要
  │
  └─ MGA (ByteDance Seed, ICLR 2026)
      → 体裁-受众改写，3.9× 扩展
      → 3.3B MoE 生成器，高性价比

2026 ──────── 质量重定义 + 结构化扩增
  │
  ├─ Data-Quality Illusion (Apple, ICLR 2026)
  │   → CQF 不衡量质量，衡量分布差异
  │   → 重新定义"好数据"的含义
  │
  ├─ Synthetic Megadocs (Stanford, 2026)
  │   → 从"更多改写"到"更深结构"
  │   → 1.80× 数据效率，Scaling 优势扩大
  │
  ├─ Escaping Model Collapse (ICLR 2026)
  │   → 验证器逃逸，但收敛于验证器知识
  │   → 验证器质量 = 逃逸上界
  │
  └─ Ultra-FineWeb (清华/面壁, 2025)
      → 高效验证替代 CQF 盲过滤
      → 1T EN + 120B ZH 开源

本期思考

合成数据在预训练中的角色正在变得越来越清晰——但答案不是简单的”用”或”不用”，而是一整套质量保证工程。

三个核心认知需要更新：

第一，“数据质量”是一个比我们以为的更模糊的概念。 Apple 的”质量幻觉”论文直指要害：CQF 这个被广泛使用的方法，捕捉的不是”质量”而是”分布相似度”。这意味着整个数据工程领域需要重新审视”好数据”的定义——不是”像 Wikipedia”的数据就是好数据，而是”对模型当前训练阶段最有用”的数据才是好数据。这与 Vol.9 讨论的动态数据选择方向殊途同归。

第二，合成数据的风险不在于”合成”本身，而在于”替代”。 Meta 的万小时实验和 Collapse or Thrive 的理论分析共同指向同一个结论：合成数据作为增强剂是安全且有效的（改写 ~30%，累积混合），但一旦试图替代自然数据，崩溃风险急剧上升。这给了从业者一条清晰的红线。

第三，下一代合成数据不是”更多改写”，而是”更深结构”。 简单改写的天花板已经被 Meta 量化了（~30% 后收益递减，~300B 后平台化）。Megadocs 和 MGA 代表了两条突破路径——前者通过结构化组合增加上下文深度，后者通过体裁-受众矩阵增加认知多样性。两者的共同点是：不增加信息总量，而是增加同一信息的有效编码方式。

对数据工程团队的建议：

立即可做：在现有管线中混入 20-30% 的改写数据，用 8B 生成器即可。投入产出比极高

审视 CQF 管线：如果你的过滤器只是一个二元分类器，考虑加入 Ultra-FineWeb 式的验证策略作为补充

中期投入：评估 MGA 式的体裁-受众改写——特别是对数据量受限的场景

严格遵守红线：合成数据比例不超过 30-40%，永远保留真实数据锚点，不做无验证的迭代自训练

下期预告：数据配比的工程学——领域权重、语言比例、训练阶段配方，以及 Data Mixing Laws 的最新进展