合成数据的质量保证：当训练语料由 AI 生成，如何确保质量、检测污染、避免模型坍缩

本期主题：当训练语料的「制造者」变成了 AI 自己

前 15 期我们系统走完了预训练数据工程的几乎所有环节——去重、选择、配比、评估、标注、治理。但有一个越来越紧迫的问题被反复预告却始终没有正面展开：合成数据。

这不是新话题。Phi-1.5（2023）用 textbook 风格合成数据训练出了远超参数量预期的小模型；Cosmopedia（2024）在 HuggingFace 上开源了 250 亿 token 的合成教科书；Llama 3.1 的技术报告承认了合成数据在后训练中的大量使用。到 2026 年，合成数据已经从”锦上添花”变成了”不得不用”——高质量网络文本的增长速率已经跟不上模型规模的膨胀速度。

但合成数据带来了一个前所未有的工程挑战：训练数据的质量保证体系需要彻底重建。

传统的数据质量保证针对”自然产生的数据”——网页、书籍、代码库。这些数据的问题是噪声、重复、偏见，但它们不会系统性地在同一个方向上犯错。而合成数据不同：它由模型生成，继承了生成模型的所有系统性偏差；当它被用来训练下一代模型时，这些偏差会被放大——这就是”模型坍缩”（model collapse）的本质。

合成数据的质量保证挑战，按严重程度递增：

Level 1  内容正确性
  事实错误、幻觉、逻辑不一致
  → 传统 QA 手段可以部分解决
  → 但规模化检测成本极高

Level 2  分布偏移
  合成数据的分布 ≠ 真实数据的分布
  → 词频、句法结构、主题覆盖都会偏
  → 尾部分布的信息丢失尤为严重

Level 3  多样性坍缩
  生成模型倾向于产出"安全的中位数"内容
  → 合成数据的 N-gram 多样性系统性低于真实数据
  → 这不是 bug，是 LLM 解码策略的固有特性

Level 4  递归放大（模型坍缩）
  第 N 代模型的合成数据训练第 N+1 代模型
  → 偏差每代放大，最终全面坍缩
  → Nature 2024 论文证实：这是所有生成模型的通用现象

本期从四个层次全面解读合成数据的质量保证工程：坍缩的理论根源、防治的技术方案、合成数据自身的 Scaling Laws、以及质量评估的新范式。

---

一、模型坍缩：比你想象的更脆弱

1.1 从 Nature 到 ICLR：坍缩的理论图谱

模型坍缩不是一个新发现，但 2024-2025 年的研究将它从”观察到的现象”升级为”理论上证明的必然”。

工作	发表	核心发现
Shumailov et al.	Nature 2024	首次实验验证：递归训练必然导致坍缩，且对所有生成模型普适
Dohmatob et al.	ICLR 2025	Strong Model Collapse：即使 1% 合成数据也能破坏 Scaling Laws
Alemohammad et al.	ICML 2024	尾部丢失理论：坍缩的本质是分布尾部信息的逐代丢失
Feng et al.	ICLR 2025	证明累积真实数据可以打破坍缩的递归诅咒

1.2 Strong Model Collapse：当 Scaling Laws 失效

Strong Model Collapse (Dohmatob, Feng, Subramonian, Kempe / ICLR 2025)

这篇论文的标题就是一个警告：不是”weak”、不是”mild”，是”strong”。

核心定理（非正式表述）：在 Scaling Laws 的标准设定下，只要训练数据中包含任意比例的合成数据（即使低至总数据集的 1%），更大的训练集不再保证更好的性能。换言之，合成数据的存在破坏了 Scaling Laws 的基本假设。

经典 Scaling Law 假设：
  Test Error ∝ (Data Size)^{-α}
  → 数据越多，误差越小
  → 前提：数据是从真实分布 i.i.d. 采样的

Strong Model Collapse 证明：
  当训练集 = (1-ε) × 真实数据 + ε × 合成数据 时：
  → 即使 ε 极小（如 0.01），Test Error 存在一个正的下界
  → 该下界不随数据规模增加而缩小
  → 更大的模型在某些情况下反而放大坍缩

实验验证：
  • 语言模型：GPT-2 级别的 LM
  • 图像模型：前馈神经网络
  • 结论一致：合成数据污染让 Scaling Laws 从幂律退化为常数

为什么这个结果如此重要？

2025-2026 年的 Common Crawl 数据中，AI 生成内容的占比已经不可忽视。多项估计显示，新增网页文本中 AI 生成的比例可能已达 10-30%。这意味着即使你不主动使用合成数据，你的训练语料也可能已经被”隐性污染”了。Strong Model Collapse 告诉我们，这种隐性污染足以让你精心设计的 Scaling Laws 预测失效。

对实践的启示：这个结果的工程含义是——数据溯源不再是可选项。你必须能够区分训练语料中的”人类原创”和”AI 生成”内容。即使做不到 100% 精确，也需要一个估计框架来量化合成数据的比例，并将其纳入 Scaling Laws 的预测模型中。Vol.14 讨论的 Croissant 1.1 溯源标准和 AI 生成内容检测（如 SynthID-Text）在这里有了直接的工程应用价值。

---

1.3 尾部丢失：坍缩的微观机制

Nature 论文和 Strong Model Collapse 从宏观角度描述了坍缩的存在性，但坍缩在微观层面是怎么发生的？

Alemohammad et al. (ICML 2024) 给出了精确的机制描述——尾部丢失（tail loss）：

真实数据分布 P_real：
  ┌────────────────────────────────┐
  │       █                         │
  │      ███                        │  ← 高密度区域（常见内容）
  │     █████                       │
  │    ███████                      │
  │  ████████████                   │
  │██████████████████████████████   │  ← 尾部（罕见但有价值的内容）
  └────────────────────────────────┘

合成数据分布 P_synth（第 1 代）：
  ┌────────────────────────────────┐
  │        ██                       │
  │       ████                      │  ← 高密度区域被保留或增强
  │      ██████                     │
  │    ██████████                   │
  │  ████████████████               │  ← 尾部已经开始丢失
  └────────────────────────────────┘

合成数据分布 P_synth（第 N 代）：
  ┌────────────────────────────────┐
  │          ███                    │
  │        ███████                  │  ← 分布集中到越来越窄的区域
  │      █████████████              │
  │                                 │  ← 尾部完全消失
  └────────────────────────────────┘

为什么尾部丢失很严重？

尾部包含的是”罕见但有价值”的内容——专业领域知识、小众语言表达、非典型推理模式。LLM 的很多”涌现能力”恰恰依赖于训练数据中这些低频但信息密度高的样本。当尾部被合成数据的递归过程系统性地抹平时，模型失去的不仅是多样性，更是复杂任务上的泛化能力。

---

二、防治坍缩的三道防线

坍缩是否不可避免？2024-2026 年的研究给出了谨慎乐观的回答：可以防治，但代价不同。

防治模型坍缩的三道防线：

防线 1  真实数据累积（最稳健但最昂贵）
  保留所有代的真实数据，与合成数据混合训练
  → 理论保证：可以完全阻止坍缩
  → 工程代价：需要持续获取和维护真实数据

防线 2  自验证过滤（理论优雅但需要工程化）
  模型用内部置信度过滤自己的输出
  → 理论保证：即使纯合成训练也能防止坍缩
  → 限制：验证器本身的可靠性

防线 3  Token 级编辑（最实用的工程方案）
  不生成纯合成数据，而是对真实数据做局部编辑
  → 保留真实数据的分布骨架
  → 同时注入多样性和增量信息

2.1 防线 1：累积真实数据打破递归诅咒

Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data (Feng et al. / ICLR 2025)

这篇论文回答了一个直接的问题：如果我们不丢弃旧的真实数据，坍缩还会发生吗？

核心发现：

策略	坍缩？	说明
纯合成数据递归训练	✅ 必然坍缩	Nature 2024 已证实
每代替换为新合成数据	✅ 坍缩	即使混入部分真实数据也不够
每代累积合成数据 + 保留全部真实数据	❌ 不坍缩	真实数据的”锚定”效应阻止了分布漂移

“累积”而非”替换”是关键区别。直觉上，每一代的合成数据虽然有偏差，但如果始终保留完整的真实数据集作为”锚点”，合成数据的偏差就无法在代际间累积放大。

对实践的启示：这个结论的工程含义非常直接——永远不要丢弃你的原始真实数据。即使存储成本高，真实数据是防止坍缩的最后一道保险。在数据管线设计中，应该将”真实数据”和”合成数据”分别存储、分别版本化，确保任何时候都可以回溯到纯真实数据的训练。

---

2.2 防线 2：自验证——让模型做自己的质检员

Self-Verification Provably Prevents Model Collapse in Recursive Synthetic Training (Fu, Wang, Chen, Shen, Tao / NeurIPS 2025)

如果真实数据越来越稀缺（这是一个正在发生的现实），防线 1 的”保留全部真实数据”可能在未来不再可行。这篇 NeurIPS 2025 论文提出了一个更激进的方案：即使完全不使用真实数据，也可以通过自验证防止坍缩。

自验证机制：

传统递归训练：
  模型 G_n → 生成数据 D_n → 训练模型 G_{n+1}
  → 无质量门槛，所有生成内容都用于训练
  → 坍缩不可避免

自验证递归训练：
  模型 G_n → 生成候选数据 D'_n
             → 用 G_n 自身评估每个样本的置信度
             → 仅保留高置信度样本 D_n ⊂ D'_n
             → 训练模型 G_{n+1}
  → 低质量/高不确定性的样本被过滤
  → 坍缩可以被阻止

理论贡献：论文推导了有限样本误差界，证明在自验证机制下，递归训练的误差不会指数级增长——这是防止坍缩的数学保证。

关键限制：自验证的前提是模型的置信度与样本质量正相关。但 LLM 的 calibration 问题是已知的——模型对错误答案也可能给出高置信度。论文的理论证明假设了”足够好”的 calibration，这在实践中需要额外的 calibration 步骤。

对实践的启示：自验证的核心思想——让模型过滤自己的输出——在工程上可以立即借鉴。具体做法：生成合成数据后，用同一个模型（或同族的更大模型）计算每个样本的 perplexity/log-probability，过滤掉分布极端的样本。这不需要额外的标注成本，只需要一次前向推理。

---

2.3 防线 3：Token-Level Editing——不生成，而是编辑

How to Synthesize Text Data without Model Collapse? (Zhu, Cheng, Li 等 / ICML 2025)

来自上海交大和北京通研院的团队提出了一个巧妙的视角转换：问题不在于”合成数据有偏差”，而在于”纯合成数据丢失了真实数据的分布骨架”。

核心洞察：与其让 LLM 从零生成合成文本（高自由度 → 高偏差），不如在真实文本上做 Token 级别的局部编辑（低自由度 → 保留分布结构）。

纯合成方法：
  Prompt → LLM → 全新文本
  → 文本的每个 token 都由 LLM 决定
  → 分布完全由 LLM 的解码策略控制
  → N-gram 多样性下降、尾部丢失

Token-Level Editing：
  真实文本 → 标记需要编辑的位置 → LLM 只修改这些位置
  → 大部分 token 保留原始真实文本
  → 分布骨架（句法、结构、主题）来自真实数据
  → 多样性和尾部信息被保留

  示例：
  原文：  "深度学习在图像分类领域取得了突破性进展"
  编辑后："深度学习在蛋白质折叠预测领域取得了显著进展"
  → 句子结构保留，关键信息被替换/增强

实验验证（三个训练场景）：

场景	Token-Level Editing vs 纯合成
从零预训练	✅ 避免坍缩，性能与真实数据持平
持续预训练	✅ 避免性能退化
监督微调	✅ 各项任务均有提升

理论保证：论文证明了 Token-Level Editing 产生的数据，其测试误差存在一个有限上界——这个上界不随递归代数增长，从而在理论上保证了不会坍缩。

对实践的启示：Token-Level Editing 是目前最”工程友好”的防坍缩方案。实现路径：(1) 取你的真实语料库；(2) 用 LLM 对每段文本做受控改写——替换实体、调整表达、补充细节，但保留整体结构；(3) 混合原始文本和编辑后文本进行训练。这比纯合成数据的生成成本更低（编辑比生成快），质量更高（有真实分布的锚定），且不需要复杂的过滤流程。

---

2.4 ForTIFAI：置信度感知的损失函数

ForTIFAI: Fending Off Recursive Training Induced Failure for AI Models (Shabgahi, Aghazadeh, Mirhoseini, Koushanfar / IEEE 2025)

ForTIFAI 从训练算法层面提出了一个轻量级的防治方案——截断交叉熵损失函数（Truncated Cross-Entropy, TCE）。

核心思想：在训练时，对于模型已经高度自信的预测（即 softmax 输出接近 1 的 token），忽略其 loss 贡献。

标准交叉熵：
  L = -Σ y_i · log(p_i)
  → 所有 token 的 loss 都被计算
  → 合成数据中的"安全中位数"模式被反复强化

截断交叉熵（TCE）：
  L = -Σ y_i · log(p_i) · 𝟙(p_i < τ)
  → 只对模型"不确定"的 token 计算 loss
  → 避免模型在合成数据的高频模式上"过拟合"
  → τ 是截断阈值（超参数）

为什么有效？ 合成数据的核心问题是”同质化”——生成模型倾向于产出高概率的 token 序列。TCE 通过忽略高置信度预测的 loss，等价于让模型”不要在已经会的东西上继续学习”，从而保留了模型从真实数据中学到的尾部知识。

论文附带了一个开源的坍缩动态 benchmark，用于标准化评估不同防坍缩方法在混合数据设定下的效果。

对实践的启示：TCE 是所有防坍缩方案中实现成本最低的——只需要修改一行 loss 计算代码。如果你的训练数据中不可避免地混入了合成数据（包括从网上爬取的 AI 生成内容），在训练时切换到 TCE 是一个几乎零成本的”保险措施”。

---

三、合成数据的 Scaling Laws：能用多少、怎么用

理论上的坍缩风险不意味着合成数据不能用。关键问题是：用多少、怎么用、到什么程度？

3.1 Demystifying Synthetic Data：Meta 的大规模系统性实验

Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls (Kang, Ardalani 等 / Meta FAIR / EMNLP 2025)

这是目前关于合成数据用于预训练的最系统性的实证研究。Meta FAIR 团队在控制变量的条件下回答了四个核心问题：

问题 1：合成数据的类型重要吗？

类型	效果	说明
Rephrased（改写）	✅ 有效	将真实文本用 LLM 改写为更清晰/结构化的版本
Textbook-style（教科书）	⚠️ 有条件	独立使用时多数下游域 loss 升高；小数据预算下尤为严重

这个发现非常重要。 它解释了为什么 Phi-1.5 的”textbook”路线在后续工作中难以复现——textbook 风格的合成数据在某些任务上有优势，但在大多数通用场景下不如改写（rephrased）数据。

问题 2：最优混合比例是多少？

合成数据混合比例的"甜蜜点"：

100% 真实数据          ────────────── 基线
 70% 真实 + 30% 改写    ────────────── 最优区间 ★
 50% 真实 + 50% 改写    ────────────── 仍有收益但边际递减
 30% 真实 + 70% 改写    ────────────── 开始出现退化
100% 改写数据           ────────────── 不比 100% 真实更好

关键发现：
• 最优比例 ≈ 30% 合成数据（改写类型）
• 这个比例随模型规模和数据预算变化
• 教科书类型的最优比例更低（~10-20%）
• 纯合成数据训练不比纯真实数据快

问题 3：合成数据对 Scaling Laws 有什么影响？

Meta 的实验发现了一个微妙的结论：

• 单轮（n=1）训练中使用改写合成数据没有观察到明显的坍缩信号
• 这与 Strong Model Collapse 的理论预测存在张力
• 可能的解释：单轮使用 ≠ 递归使用，改写保留了真实分布的大部分信息

问题 4：什么样的合成数据是”好”的？

论文发现，“好”的合成数据需要同时满足：

1. 信息保留：保留原始文本的核心信息
2. 格式提升：结构更清晰、表达更规范
3. 多样性维持：不能比原始数据的多样性低

对实践的启示：Meta 的研究给出了一个清晰的工程指南——改写优于从零生成，30% 是混合上限，教科书风格谨慎使用。如果你要在预训练中加入合成数据，最安全的路线是：取你现有的高质量真实语料 → 用强模型改写成更清晰的版本 → 以不超过 30% 的比例混入原始数据。

---

3.2 SynthLLM：合成数据的扩展定律

Scaling Laws of Synthetic Data for Language Models (Qin, Dong, Zhang 等 / COLM 2025)

如果 Meta 的工作回答了”合成数据能不能用”，这篇来自港科大和微软的论文则回答了一个更量化的问题：合成数据的 Scaling Laws 长什么样？

SynthLLM 框架：

1. 从预训练语料中用图算法提取跨文档的高层概念
2. 将概念重新组合为新的合成文档
3. 这种”概念重组”产生的数据既保留了原始知识，又增加了组合多样性

三个关键发现：

发现	内容	工程含义
修正 Scaling Law 成立	合成数据确实遵循幂律扩展，但指数不同于真实数据	可以用 Scaling Laws 预测合成数据的收益
300B tokens 天花板	性能提升在 ~300B tokens 后趋于平稳	合成数据的规模不是越大越好
大模型更高效	8B 模型在 1T tokens 达峰，3B 需要 4T	合成数据的”性价比”随模型规模提升

“修正 Scaling Law”意味着什么？

真实数据 Scaling Law：
  L(D) = a · D^{-α} + L_∞
  → 幂律下降，α ≈ 0.3-0.5

合成数据 Scaling Law（SynthLLM）：
  L(D_syn) = a' · D_syn^{-α'} + L'_∞
  → 也是幂律下降，但 α' < α
  → L'_∞ > L_∞
  → 即：下降更慢，天花板更高

实际含义：
  合成数据可以替代真实数据，但"汇率"不是 1:1
  大约需要 3-5× 的合成数据才能达到等量真实数据的效果

对实践的启示：SynthLLM 的 300B 天花板是一个重要的工程参考点。如果你已经有 300B+ tokens 的合成数据，继续增加规模的边际收益很低——这时应该把资源投入到提升合成数据的质量而非数量上。同时，“大模型更高效”的发现暗示了一个策略：用你能负担的最大模型来生成合成数据，然后用更小的合成数据集来训练目标模型。

---

3.3 MGA Reformulation：规模化数据增强的新范式

Reformulation for Pretraining Data Augmentation (Hao, Zhu, Zhang, Shen, Li / ICLR 2026)

MGA（Massive Genre-Audience）是 ICLR 2026 接收的关于合成预训练数据的工作，提出了一种不依赖预定义 seed 的规模化数据增强方法。

核心思路：为同一段原始文本生成多个”体裁-受众”变体——同样的技术内容，可以被改写为面向研究者的论文风格、面向开发者的教程风格、面向管理者的摘要风格。

规模：团队发布了 770B tokens 的 MGACorpus。

与数据重复的对比：实验证明，在模型规模（最高 13B 参数）和数据预算的双维度上，MGA 增强的数据全面优于简单的数据重复和上采样。

这个结论回应了 Vol.10 讨论过的”数据重复 vs 数据增强”争论——当训练预算超过可用独立数据时，智能增强（如 MGA）比简单重复更有效。

对实践的启示：如果你面临”数据不够用需要重复训练”的问题，MGA 提供了一个更好的选择——不是重复同样的数据，而是用 LLM 将数据改写成不同的风格变体。这在保持信息量的同时增加了表层多样性，缓解了重复训练导致的过拟合。

---

四、合成数据质量评估的新范式

当合成数据成为训练管线的常规组成部分，我们需要专门针对合成数据的质量评估方法——这与 Vol.15 讨论的通用数据质量评估不同，因为合成数据有其特有的失效模式。

4.1 AgoraBench：评估 LLM 作为数据生成器的能力

Evaluating Language Models as Synthetic Data Generators (Kim, Suk, Yue 等 / ACL 2025)

这篇 ACL 2025 论文提出了一个关键的视角转换：不再只评估模型”解决问题”的能力，还要评估模型”生成训练数据”的能力。

AgoraBench 定义了一个标准化的评估框架：

传统评估：
  模型 → 直接回答问题 → 评估回答质量
  → 衡量的是"解题能力"

AgoraBench 评估：
  模型 → 生成训练数据 → 用数据训练学生模型 → 评估学生模型质量
  → 衡量的是"教学能力"（生成有效训练数据的能力）

关键度量——Performance Gap Recovered (PGR)：

PGR 衡量的是”用合成数据训练的模型，相对于用真实数据训练的模型，恢复了多少性能差距”。PGR = 100% 意味着合成数据完全替代了真实数据。

最重要的发现：

“好的数据生成器”≠“好的问题求解器”。 一个模型可能在解题上表现一般，但生成的训练数据却能很好地训练其他模型；反之亦然。

这个发现对合成数据工程的含义是：选择数据生成模型时，不应该只看它的 benchmark 分数，还应该评估它的”数据生成效率”。 AgoraBench 提供了第一套标准化的度量方法。

另一个关键发现——内禀指标的局限：

现有的数据质量内禀指标（如 response quality、instruction difficulty、instance diversity）单独使用时都不能有效预测 PGR。只有将多个内禀指标融合，才能较好地预测合成数据的实际训练效果。这与 Vol.15 讨论的 Meta-rater 多维融合评估的逻辑完全一致。

4.2 多样性度量：LLM Cluster-Agent

On the Diversity of Synthetic Data and its Impact on Training Large Language Models (Chen, Waheed, Li 等 / ICLR 2025)

如果说 AgoraBench 评估的是合成数据的”综合效用”，这篇论文则聚焦于合成数据最易出问题的维度——多样性。

LLM Cluster-Agent 是一个新的多样性度量方法：

1. 用 LLM 对合成数据进行语义聚类
2. 基于聚类的分布均匀度计算多样性分数
3. 该分数与下游模型性能正相关

核心结论（350M 和 1.4B 参数实验）：

场景	多样性的影响
预训练	多样性与性能正相关，但关系较弱
微调	多样性与性能强正相关

这个差异化结论有实际意义：预训练阶段对合成数据多样性的容忍度更高（因为数据规模大，多样性的绝对值通常够用），但在微调阶段，多样性是决定性因素。

对实践的启示：在生成合成数据时，主动监控多样性应该成为标准工作流的一部分。具体做法：每生成一批合成数据，用 embedding 模型计算其在特征空间中的覆盖度（如 k-means 聚类的 silhouette score），并与真实数据的覆盖度做对比。如果合成数据的覆盖度显著低于真实数据，说明多样性不足，需要调整生成策略（如增加 temperature、使用多个 prompt 模板、或采用 MGA 的多体裁策略）。

---

五、全景视图：合成数据质量保证的完整工程体系

合成数据质量保证的四层工程体系：

Layer 1  生成层：怎么生成
  ├── 改写（Rephrasing）优于从零生成
  ├── Token-Level Editing 保留分布骨架
  ├── MGA 多体裁变体增加多样性
  └── SynthLLM 概念图重组

Layer 2  过滤层：怎么筛选
  ├── 自验证（Self-Verification）基于模型置信度
  ├── 多维质量评分（Meta-rater/FIRE，参考 Vol.15）
  ├── 多样性监控（LLM Cluster-Agent）
  └── AI 生成内容检测（SynthID-Text/水印）

Layer 3  训练层：怎么用
  ├── 混合比例：≤30% 合成数据（改写类型）
  ├── 截断交叉熵（TCE）降低过拟合风险
  ├── 在线 loss-based 重加权（参考 Vol.15 ADAPT）
  └── 真实数据永不丢弃（防止递归坍缩）

Layer 4  评估层：怎么验
  ├── AgoraBench（PGR 度量合成数据的训练效用）
  ├── Ultra-FineWeb 高效验证策略（小模型快速验证）
  ├── ForTIFAI 坍缩动态 benchmark
  └── 合成数据的 Scaling Laws 预测（SynthLLM）

---

本期思考

回顾本期讨论的十余项工作，一个核心矛盾浮现：合成数据既是预训练数据工程的未来，又是模型坍缩的源头。

三个趋势已经确定：

第一，合成数据不可避免。 高质量网络文本的增长速率正在被 AI 生成内容的增长速率超越。未来的预训练语料——无论你是否主动添加合成数据——都将不可避免地包含 AI 生成的内容。Strong Model Collapse 的 1% 阈值警告意味着”隐性污染”就足以影响 Scaling Laws。

第二，防治坍缩有方案，但没有银弹。 三道防线各有代价：累积真实数据最稳健但成本最高；自验证最优雅但依赖 calibration；Token-Level Editing 最实用但增量有限。工程实践中需要多道防线叠加。

第三，合成数据的质量评估需要专门的工具链。 通用的数据质量评估（Vol.15 的 Meta-rater/FIRE）是必要的但不充分的。合成数据有其特有的失效模式——多样性坍缩、分布偏移、递归放大——需要 AgoraBench 式的专用评估框架。

给数据工程团队的行动清单：

1. 今天就做：审计你的训练语料中 AI 生成内容的比例。如果你在用 Common Crawl 的最近批次，这个比例可能比你想象的高
2. 本周可做：如果你在使用合成数据，将混合比例降到 30% 以下，并确保使用的是改写（rephrased）而非从零生成（textbook-style）的合成数据
3. 本月可做：在训练循环中加入 TCE 损失函数作为防坍缩保险；建立合成数据的多样性监控指标
4. 本季度规划：评估 Token-Level Editing 或 MGA 作为数据增强策略的替代方案；建立合成数据的独立版本控制和 Scaling Laws 预测模型

---

下期预告：数据清洗的工程实践——从文本提取、语言检测到有害内容过滤，构建万亿 token 级数据管线的工程细节