数据范式转移：真实数据枯竭与合成数据崛起

2026 年，AI 数据工程站到了一个历史性的分水岭上。一边是真实数据的墙：研究机构 Epoch AI 的测算显示，互联网上公开的高质量人类文本，将在 2026-2032 年间被前沿模型训练需求”吃干抹净”，中位预测落在 2028 年前后；另一边是合成数据的崛起：多家行业调查与厂商估计认为，头部 AI 实验室后训练（post-training）所用数据中，合成数据占比已达 50% 以上、较 2024 年增长数倍；在医疗、法律、工业控制等垂直领域，这一比例普遍更高。（背景数据来自斯坦福 HAI《2026 人工智能指数报告》，2026 年 4 月发布，全文 423 页；该报告已确认的相关数字见 3.3.1 节。）

这不是一次普通的技术迭代。当”喂更多真实数据”这条自 GPT-3 以来最可靠的进步路径走到尽头，整个行业被逼着回答一个根本问题：数据的边际收益从哪里来？过去八年的答案换了三次：先堆量，再清洗，如今则是”质量优先 + 合成扩增”。每一次范式转移，都重排了数据工程的工具链、组织方式和人才结构。

本章核心论点：真实数据的耗尽不是 AI 进步的终点，而是数据工程价值中枢的迁移——从”获取数据”迁移到”制造数据”。谁能把高质量数据的生产从人力密集型转向算法驱动型，谁就掌握了下一代模型的供给线。但合成数据不是免费午餐：合成崩溃（model collapse）的风险真实存在，且尚无充分证据表明纯合成数据能在预训练尺度上完全替代真实数据。工程答案不在”真实 vs 合成”的二选一，而在一套基于任务属性的精细分工。

本章将完成五件事：梳理三次数据范式转移的脉络（3.1）；拆解公共文本耗尽测算的方法与争议（3.2）；解释合成数据崛起的三大驱动力（3.3）；两面呈现合成崩溃风险与管线实证收益的范式之争（3.4）；给出一套”真实 vs 合成”的工程决策树（3.5）。最后（3.6）说明本章与本书后续各篇的关系。

3.1 三次数据范式转移：从堆量、清洗到质量与合成

大模型数据工程的历史，可以按”边际收益的主要来源”划分为三个时代。每个时代都有自己的核心假设、代表工作与失效边界。

3.1.1 堆量时代（2018-2021）：数据即燃料

2018 年 BERT 与 GPT-1 先后问世，2020 年 GPT-3 以 1750 亿参数、约 3000 亿 token 的训练语料震撼业界，Kaplan 等人的 Scaling Law 研究（“Scaling Laws for Neural Language Models”，arXiv:2001.08361）为”大力出奇迹”提供了理论背书：模型性能随参数量、数据量与算力的幂律提升而可预测地改善。这个时代的隐含假设是：互联网是取之不尽的燃料库，数据工程的任务只是”搬运”——把 Common Crawl 爬下来、粗滤一遍、打包成 The Pile（arXiv:2101.00027）或 C4（T5 语料，arXiv:1910.10683）这样的数据集，剩下的交给算力。

数据工程的典型动作是低成本的启发式过滤：语言识别、长度过滤、脏词表、正则去重。质量概念尚不存在——或者说，“数量就是质量”。堆量时代的巅峰之作是 2022 年的 Chinchilla（“Training Compute-Optimal Large Language Models”，arXiv:2203.15556）：DeepMind 证明此前所有大模型都”训练不足”（undertrained），在固定算力下，参数与数据应等比例扩展。Chinchilla 以 700 亿参数配 1.4 万亿 token 的数据，击败了 2800 亿参数的 Gopher——这是第一记警钟：数据与模型的关系需要重新配平，靠无脑堆参数换性能的时代结束了。

3.1.2 清洗时代（2022-2024）：数据即矿石

如果说堆量时代的数据是”煤”，清洗时代的数据则是”矿石”——需要选矿、冶炼、提纯。转折的标志是业界发现：同样的爬取语料，经过精细的质量过滤与去重，可以带来相当于数倍数据量的收益。多项研究（如对 Common Crawl 的质量过滤研究）显示，过滤掉约 30% 的低质量页面、剪除约 50% 的重复数据，反而能训练出更强的模型。Hugging Face 的 FineWeb 与 FineWeb-Edu、AI2 的 Dolma（arXiv:2402.00159）、Together AI 的 RedPajama 等开源语料项目，把”质量分类器 + 多级去重 + 域名配比”变成了标准工艺；DataComp-LM（arXiv:2406.11794）更是以受控实验证明，在固定算力下，数据策展（curation）策略的差异可以造成数倍的性能差距。

与工业界并行，学术界掀起了一场观念运动。2021 年，吴恩达（Andrew Ng）正式倡导 Data-Centric AI（以数据为中心的 AI）：模型架构已趋成熟，真实世界 AI 性能的最大剩余机会，在于系统性地改进数据，而非反复调模型。他在钢铁板材缺陷检测的著名案例中展示：同一基线模型上，数据侧的清洗与标注标准化带来显著精度提升，而模型侧的架构调优几乎颗粒无收。围绕这一理念，一批公司成长起来：MIT 孵化的 Cleanlab（标签错误检测）、斯坦福 DAWN 实验室孵化的 Snorkel（程序化弱监督标注）、ETH 苏黎世孵化的 Lightly（视觉数据的主动学习与策展）。

清洗时代也留下了理论注脚。Northcutt 等人（arXiv:2103.14749，NeurIPS 2021 Datasets & Benchmarks Track）发现，十个主流基准测试集平均有至少 3.3% 的标签错误，ImageNet 验证集的错误率不低于 6%；修正标签后，ResNet-18 的表现可以反超 ResNet-50——一部分”架构进步”实际上是基准噪声的测量误差。Sambasivan 等人在 CHI 2021 的研究（“Everyone wants to do the model work, not the data work”）访谈了 53 位 AI 从业者，92% 报告遭遇过”数据瀑布”（data cascades）——上游数据缺陷在下游被放大成系统性失败。这篇论文的标题本身就是时代诊断：人人都想做模型，没人想做数据。

范式转移的本质：堆量时代的边际收益来自”更多数据”，清洗时代来自”更干净的数据”。清洗时代的信条是——一个更小但更干净的数据集，往往胜过一个更大但更噪的数据集。

3.1.3 质量与合成时代（2025-）：数据即产品

2025 年之后，范式再次转移，且这次是双轮驱动。

第一重驱动是质量的天花板被顶穿。清洗工艺再精细，也无法凭空增加互联网上高价值文本的绝对存量——高质量语料是有限资源。于是质量工程从”过滤存量”升级为”主动制造增量”：用教师模型生成教科书级语料（Phi 系列，“Textbooks Are All You Need”，arXiv:2306.11644）、按课程顺序编排训练数据、在训练后期的退火阶段上采样高价值数据源。质量不再是被发现的数据属性，而成为被设计的产品规格。

第二重驱动是合成数据从配菜变为主菜。强化学习带可验证奖励（RLVR）范式的成熟（DeepSeek-R1，arXiv:2501.12948），使得数学、代码等”输出可以被机器判分”的领域里，训练数据可以近乎无成本地批量合成；蒸馏（distillation）让强模型的推理轨迹变成弱模型的教材。业界估计的数字——后训练合成占比已达 50% 以上、垂直领域普遍更高——宣告合成管线已经是数据工程的主干，而非补丁。与此同时，标准化工作也在推进：IEEE P4143《Standard for Synthetic Data Fidelity and Utility Verification》（IEEE Computer Society，PAR 于 2026-06-04 批准）把合成数据的保真度（fidelity）与效用（utility）验证方法、指标与流程纳入标准化范围。需注意两点：其一，该标准尚未正式发布，“强制认证”的说法为时尚早；其二，官方范围聚焦保真度与效用两个维度，而”语义保真度""多样性覆盖""偏差可审计性”三项目前更接近学术界与行业的通行实践（可参见 IEEE S&P 2026 的 SynEval 框架提出的 fidelity / utility / diversity / privacy 四维评估），而非 P4143 的明文条款。合成数据的质量话语体系正在标准化（进行中）。

值得注意的是，P4143 并不是这一批里唯一与数据质量相关的立项。2026-06-04 IEEE SA 标准委员会同批批准的新 PAR 中，由同一个委员会（C/SABSC）提出、且与本书记述范围直接相邻的还有四条：P4141（生成式 AI 基础模型预训练的数据质量评估与标注一致性）、P4142（面向服务环境的数据质量度量与评估方法）、P4140（DaaS 数据可观测性指标与 SLA）、P4144（DaaS 参考架构与技术要求）。这意味着本书关心的”预训练数据质量评估”在 IEEE 侧有专门的 P4141 立项，不必拿只覆盖合成数据保真度与效用的 P4143 顶替——第 6 章（质量过滤）与第 29 章（质量评估闭环）的读者尤其应该盯 P4141 而非 P4143。四者的共同点是均处于 PAR 阶段，都不可当作已发布标准引用。

📌 复检记录（2026-10-08）：IEEE P4143 状态复检——仍为 Active，PAR 批准日 2026-06-04，工作组 DS – Synthetic Data Fidelity and Utility Verification for Machine Learning，主席 Xiaofeng Chen，结论未变。Epoch AI 数据耗尽窗口（2026–2032）同期复检，未修订。

一个有力的注脚来自开源阵营：AI2 的 OLMo 3.1 Think 32B，仅有约 320 亿参数（约为 Grok 4 的九十分之一），在 AIME 2025 上达到 78.1% 的成绩。AI2 官方对自己收益来源的归因并不只在数据侧：3.1 相比 3.0 在 AIME 上的 +5 分，主要来自在 Dolci-Think-RL 数据集上把 RL 训练延长了 21 天 / 224 GPU，而非单纯的清洗与去重。这个案例被《2026 人工智能指数报告》专门引用，作为”数据质量是与模型架构同等关键的设计变量”的实证——在数据上花的心思，可以直接折算成被省下的算力与参数。

⚠️ 注意归因分歧：AI Index 2026 对同一案例的概括是”通过剪枝、去重与策展（pruning, deduplication, and curation alone）取得可比结果”，把功劳记在数据策展侧；而 AI2 官方博客把 +5 分归在在 Dolci-Think-RL 上延长 RL 训练 21 天 / 224 GPU 上，明确排除”单纯的清洗与去重”。两者指向不同的因果，无法用”都对”糊过去。本书采用 AI2 官方一手归因（更接近当事方的自述），但读者援引该案例时必须说明采用哪一方的口径——若用它论证”清洗与去重足以换来性能”，那是 AI Index 的读法，不是 AI2 的读法。

三次范式转移总览

维度	堆量时代（2018-2021）	清洗时代（2022-2024）	质量与合成时代（2025-）
核心假设	数据越多越好	数据越干净越好	数据是可以被制造的产品
边际收益来源	语料规模	过滤、去重、配比	合成管线、课程化、验证闭环
代表工作	GPT-3、The Pile、C4	Chinchilla、FineWeb、Dolma、DataComp-LM	Phi、DeepSeek-R1、Qwen3、OLMo 3.1
质量概念	无（数量即质量）	质量分类器打分	质量规格 + 溯源 + 审计
数据角色	燃料	矿石	产品
标志性失败模式	冗余与噪声稀释	清洗收益递减、撞上存量墙	合成崩溃风险
人才画像	爬虫与数据搬运	数据科学家、标注管理	合成管线工程师、评估设计师

时间线上看，三个时代并非严格接替，而是叠加共存：2026 年的前沿模型预训练仍然依赖清洗时代打磨的过滤工艺（去重、质量分、配比），后训练则已大规模迁移到合成管线。范式转移改变的不是某项具体技术，而是数据工程预算与注意力的分配比例——这正是本书后续各篇展开的坐标系。

3.2 真实数据的墙：公共文本耗尽测算

“数据耗尽”是近年 AI 领域被引用最多、也最常被误读的预测。本节拆解其测算方法、结论与争议，目标是让读者具备独立评估这堵”墙”的高度与硬度的能力。

3.2.1 测算方法：供给、需求与交点

最具影响力的测算来自非营利研究机构 Epoch AI。核心论文是 Villalobos 等人的《Will we run out of data? Limits of LLM scaling based on human-generated data》（arXiv:2211.04325，2022 年首发、2024 年大幅修订；ICML 2024），方法分三步。

第一步：估计供给——互联网上到底有多少人类文本？论文用两条独立路径交叉验证。其一是”词频法”：利用谷歌搜索引擎的索引规模反推网络总量。例如，若某高频词出现在 Common Crawl 0.2% 的页面中，而谷歌能返回 400 亿个包含该词的结果，则索引网络规模约为 400 亿 ÷ 0.2% = 20 万亿页面。据此估计谷歌索引约含 2700 亿页面，每页平均约 1.9KB 纯文本，索引网络总量约 500TB 文本——约为 Common Crawl 的 5 倍。其二是”用户建模法”：从互联网用户数与人均内容产出量外推，估计公开人类文本存量上限约 3100TB（含搜索引擎无法触及的深层网络；其中大部分位于社交平台私有空间，受隐私与法律约束，几乎不可用于训练）。

第二步：质量折扣。原始 token 数不等于可用数据。综合多项过滤研究，论文假设总量的 10%-30% 可作为有效训练数据，即有效高质量库存约在数百 T token 量级（论文给出的公共人类文本总量口径约为 4×10^14，即约 400 万亿 token 量级，其中高质量子集远小于此）。

这里必须区分两个常被混用的口径。Epoch 官方博客正文给出的有效存量（effective stock）是约 300 万亿 token——这个数字已经完成了质量折扣与重复调整，并且计入了多轮 epoch 训练的可能，90% 置信区间为 100T–1000T。它与本段上文”4×10^14（约 400 万亿）“不是同一个量：后者是未做质量与重复折扣的总量口径。⚠️ 引用提示：本轮回源 Epoch 官方博客正文时，“400 万亿”在该页正文中零命中，它更可能出自该文 Figure 1 的某一档（Common Crawl / 索引网页 / 全网页含私有数据 / 图像 / 视频各自的存量柱），而非文本有效存量。读者在引用 400T 之前，请回 Figure 1 确认它对应的是哪一档——把总量当可用存量，是本节最容易犯的错。

第三步：估计需求并求交点。基于 2010-2024 年 80 余个 LLM 的数据集规模趋势外推，并叠加 Scaling Law 约束（数据需求大致随训练算力的平方根增长）与算力、电力的物理限制，论文得出结论：

若当前趋势延续，公共人类生成文本数据将在 2028 年前后（中位数）被前沿训练需求完全利用；考虑到不确定性，完整区间为 2026-2032 年。若模型被刻意”过度训练”（overtraining，即以远超计算最优的比例增加数据量换取推理效率），耗尽时点将提前：按 Epoch 官方博客给出的情景，5 倍过度训练对应 2027 年，100 倍对应 2025 年（参照系：Llama 3-70B 的过度训练倍数为 10 倍）。

两点口径提示。其一，2026-2032 是 80% 置信区间（Epoch 原文：“Our 80% confidence interval is that the data stock will be fully utilized at some point between 2026 and 2032”），不是”网页到期日”——它说的是前沿训练需求把存量吃满的时点分布，不意味着 2032 年之后互联网上没有文本。其二，compute-optimal 训练下的中位是 2028 年，5×/100× 是过度训练政策下的提前量，三者是同一模型的不同政策分支，不能挑一个当”结论”。

《2026 人工智能指数报告》第一章援引了这一测算（报告第 25-27 页设”数据瓶颈”专节），采用了 2026-2032 的区间口径，并补充了三个背景事实：互联网上超过 50% 的新增内容由 AI 生成（数据公地正在被合成内容稀释）；头部公司已转向授权数据（如新闻机构与亚马逊、Meta 的合作协议）；Epoch AI 同时预测高质量文本数据将在 2026-2032 年间耗尽。

3.2.2 墙的四重构造

数据墙不是一堵单一的墙，而是四重约束的叠加。理解这一点，才能理解为什么”互联网上还有那么多数据”的反驳不成立。

其一：存量之墙（物理约束）。高质量公共文本是有限存量。书籍、论文、维基百科、高质量论坛帖的总供给有明确上限，而训练数据集的需求规模每年以数倍速度扩张。这就像淘金：河里的金砂总量固定，淘金者却越来越多、盆越来越大。Epoch AI 研究者 Tamay Besiroglu 将其比作”字面意义上的淘金热”（literal gold rush）——消耗的是不可再生的自然资源。

其二：访问之墙（法律与商业约束）。存量还在，但门在关。Data Provenance Initiative（Longpre 等人，“Consent in Crisis: The Rapid Decline of the AI Data Commons”，arXiv:2407.14933）审计了 C4、RefinedWeb、Dolma 三大主流语料，发现全部数据的约 5%、高质量数据的约 25% 已被网站通过 robots 协议或服务条款限制使用，且限制比例持续上升。新闻出版商的诉讼与授权交易（Reddit、美联社、新闻集团等与 AI 公司签订的内容协议）把”开放网络”改造成了”谈判桌上的数据”——能够付得起授权费的少数巨头拿到了钥匙，学术界与小机构被留在门外。

其三：污染之墙（质量约束）。新增网络内容中过半为 AI 生成，意味着未来的爬取语料将越来越多地含有模型输出——这既是合成崩溃风险的入口（见 3.4 节），也意味着”公共数据”这个概念本身在退化：公地上生长的已不再是人类经验的记录。

其四：增量之墙（密度约束）。互联网仍在产生海量新文本，但新数据的”智力密度”存疑。这正是 2025 年加入 OpenAI 的统计学家苏炜杰（宾夕法尼亚大学沃顿商学院统计学教授、COPSS 会长奖得主，2025 年 5 月 30 日宣布加入 OpenAI 参与模型训练）在公开访谈中提出的视角：世界产生数据的速度比任何时期都快，真正的问题是这些新生成数据的智力密度，与早期更自然、更原生的数据相比，能否维持模型能力继续 scale 上去——这需要实证研究，而非直觉判断。

3.2.3 争议：这堵墙有多硬？

对测算的批评主要来自四个方向，逐一检视：

争议一：“高质量”的定义是循环论证。什么算高质量？用模型表现定义质量、再用质量预测模型表现，存在逻辑闭环。辩护方的回应是：不同质量度量（教育分类器、人工评级、下游任务增益）在实证上高度相关，且清洗时代的研究（FineWeb-Edu、DataComp-LM）已反复验证质量折扣的存在。

争议二：低质量数据被低估。有研究指出，2026-2040 年间，连社交媒体帖子这类低质量数据也可能被耗尽；且”低质量”数据对某些能力（口语、俚语、文化多样性）恰恰不可或缺。换言之，耗尽的不是”文本”而是”文本的可组合性”。

争议三：需求外推可能失真。数据集规模的增长曲线建立在”预训练主导”的旧范式上。若行业转向推理算力扩展（test-time scaling）、小模型高效路线或后训练主导，训练数据需求的斜率会显著变缓——数据墙会因此后移。Epoch AI 自己在《Can AI scaling continue through 2030?》（持续更新至 2026 年 8 月）中把约束按”先卡住谁”排序：电力最先 binding，其次芯片制造，数据与延迟再次之。也就是说，在 Epoch 的完整图景里，数据墙之上还有更高的墙——算力扩张可能先于数据耗尽而减速。

争议四：‘耗尽’是经济耗竭，不是物理真空。论文一作 Villalobos 在被问及业界反应时直言：“我不认为大型 AI 公司有人在恐慌，至少他们没有给我发过这样的邮件。“OpenAI 与 Anthropic 均公开承认在采用多源策略：公开数据、合作伙伴的非公开数据、合成数据与人类训练师数据。数据不会在某个早晨”用完”，而是获取下一个高质量 token 的边际成本持续上升，直到越过合成数据的成本线——那条成本线的交叉，才是范式转移真正的触发点。相比之下，马斯克 2025 年 1 月”人类知识总和已在 AI 训练中被耗尽”的公开表态，更接近资本叙事而非测算结论。

对本节工程结论的提炼：数据墙不是一个日期，而是一条成本曲线。对数据工程团队而言， actionable 的信号不是”2028 年会发生什么”，而是”我们目标领域的真实数据获取成本，何时越过合成管线的成本线”。垂直领域（医疗、法律、工业）由于隐私与合规门槛，这条交叉线来得远比公共网页领域更早——这正是 AI Index 记录的”垂直领域合成占比 >80%“的经济学解释。

3.3 合成数据的崛起：占比、驱动力与实证

3.3.1 占比：从配菜到主菜

先说清楚数字的性质。后训练合成占比”超 55%“、垂直领域”超 80%“这两个数在产业界被广泛援引，但在 AI Index 2026 的官方 Top Takeaways、R&D 章节要点及公开评述中均未能定位到具体出处，因此本书按”业界估计”处理，并提示口径与统计时点差异很大。能落到报告原文的是另外三条更硬的锚点：基础模型透明度指数均值从 58 分跌至 40 分；2025 年 95 个前沿模型中 84% 未公开训练代码；超过 50% 的新增网络内容已由 AI 生成。

这个数字需要正确的解读框架：它说的是后训练与垂直领域，而不是预训练。AI Index 同一份报告第一章对预训练的判断要保守得多（详见 3.4 节），其要点原文即「Synthetic data is still not replacing real data in pre-training」：尚无确凿证据表明合成数据能在预训练尺度上完全抵消真实数据耗尽的影响，混合方案的效果也仍未超过高质量真实数据训练的模型，纯合成训练只在较窄或较小规模的设置中有效。换句话说，合成数据的主战场是 SFT、RLVR、领域微调与蒸馏——即”在真实分布之上雕刻能力”的阶段，而非”建立世界知识分布”的阶段。

监管与标准侧的配套正在推进。业界普遍要求合成数据集在三个维度上可评估：语义保真度（合成样本是否忠实于目标域的语义）、多样性覆盖（是否覆盖长尾与边缘情形）、偏差可审计性（合成引入的系统性偏移能否被追溯）。正在制定中的 IEEE P4143 则把保真度与效用的验证方法、指标与流程纳入标准化范围。合成数据的质量话语体系正在形成——这是”合成数据产品化”的制度方向，但截至本书写作时点尚未定型。

3.3.2 驱动力一：标注经济学

人类标注的经济学在大模型时代全面失衡。高质量 RLHF 标注依赖领域专家（律师、医生、资深工程师），成本以每条数十美元计；标注一致性随任务复杂度衰减，多模态对齐与复杂推理链任务的人工错误率可达 15%-30%；从需求定义到标注交付的周期以周计，而前沿模型的迭代周期已缩短到以天计。

合成管线反转了这条成本曲线。教师模型统一生成的数据天然具备格式规范与逻辑一致性；“需求定义 → 数据生成 → 质量验证 → 模型微调”的闭环可以压缩到小时级。一个常被低估的副产品是可组合性：人类标注是”有一批算一批”的存量，合成管线则可以按需定向生成——某个能力弱，就生成该能力的对抗样本；某个 slice 过拟合，就提高该 slice 的多样性阈值。数据生产本身成为可优化的超参数。

关键转折：Data-Centric AI 运动在清洗时代喊出的口号是”与其调模型，不如清数据”；质量与合成时代的升级版是”与其清数据，不如造数据”。但两次口号共享同一个内核——数据是第一工程变量，模型是相对固定的底座。

3.3.3 驱动力二：Verifier 的可用性

合成数据大规模可行的前提，不是生成模型变强了，而是验证变得便宜了。这一洞见由可验证奖励的强化学习（RLVR）范式确立：DeepSeek-R1（arXiv:2501.12948）证明，在数学与代码领域，模型输出可以由机器自动判分——代码能否编译、单元测试是否通过、数学答案是否正确——从而绕开昂贵的人类偏好标注，直接用正确性信号驱动强化学习（R1 采用 GRPO 算法，无需独立 critic 模型）。

一旦输出可验证，合成数据在这些领域就获得了近乎零边际成本的生产许可：生成一道题有多份解、让模型试错、保留通过验证的推理轨迹。更早的先例证明过这条路径的上限：AlphaZero（Silver 等，Nature 2018）完全依靠自我对弈合成数据达到超人棋力；AlphaGeometry（Trinh 等，Nature 2024）用大规模合成几何证明训练出奥赛级解题器。这两个系统没有用到一条人类标注，共同点是环境本身提供了完美的 verifier。2025-2026 年，同样的逻辑被推广到 agentic 任务：Kimi K2 技术报告描述了在装载真实工具（API、shell、数据库）的模拟环境中系统性生成工具调用演示的大规模管线；Llama 4 在预训练阶段即与 2 万亿参数的教师模型 Behemoth 进行协同蒸馏。

3.3.4 驱动力三：退火提分的实证

第三个驱动力来自一个起初不那么显眼的训练技术细节：学习率退火（annealing）阶段的数据配比。现代预训练普遍采用多阶段学习率调度——预热、稳定、末段快速衰减。实验反复表明，在退火阶段（通常为训练最后阶段，学习率衰减到零附近）提高高质量数据的采样权重（up-sampling），能带来不成比例的 benchmark 提升：Llama 3（arXiv:2407.21783）报告在退火阶段上采样高质量数据源显著提高了下游任务性能；MiniCPM（arXiv:2404.06395）提出的 WSD（Warmup-Stable-Decay）调度证明衰减阶段损失快速下降、可复用检查点；Qwen3（arXiv:2505.09388）把预训练结构化为通用、推理、长上下文三阶段，在推理阶段加速学习率衰减以配合高质量推理语料；中训练（mid-training）方向的综述（arXiv:2510.06826）系统记录了各家族把”数据配比”与”学习率曲线”耦合设计的实践。

退火提分对合成数据的意义在于：它提供了一个高杠杆的注入口。退火阶段数据量小、但每条数据对最终性能影响巨大——这正是高成本合成数据（教师模型精心生成的推理轨迹、验证过的解题过程）性价比最高的投放位置。“在退火阶段注入合成高质量数据”由此成为 2025 年后公开技术报告中的标准动作，也是”合成数据 + 课程化”两条技术线汇合的地方。

3.3.5 主流模型的公开策略转向

截至 2026 年，主流开源/开放权重模型的技术报告已把数据策略放在与架构同等显眼的位置。公开信息汇总如下（以各家技术报告与官方博客为准）：

模型家族	预训练规模	公开报告中的数据策略要点
Llama 3 / 4（Meta）	Llama 3 约 15T token	SFT 数据百万级、绝大部分由模型合成生成；退火阶段上采样高质量源；Llama 4 预训练期与 Behemoth 教师模型协同蒸馏
DeepSeek-V3 / R1	14.8T token	SFT 约 150 万条指令，推理类数据由 R1 系列模型完全合成生成；RLVR + GRPO；全流程报告零不可恢复损失尖峰
Qwen3（阿里巴巴）	约 36T token	预训练课程化为通用/推理/长上下文三阶段；推理阶段加速退火；家族内由旗舰模型向下蒸馏
Kimi K2（月之暗面）	15.5T token	MuonClip 优化器保障万亿参数稳定训练；合成 agentic 数据管线——模拟环境中生成大规模工具调用演示
Phi 系列（微软）	小规模精选	”Textbooks Are All You Need”（arXiv:2306.11644）路线：教科书质量的合成与精选语料，以小博大
OLMo 3.1（AI2）	—	激进清洗与去重；32B 模型在 AIME 2025 达 78.1%，被 AI Index 2026 引为”质量即算力”实证

纵贯这张表，可以提炼出 2026 年数据策略的三个公约数：合成为主的后训练（SFT/RL 数据大多出自教师模型或自我生成）、课程化的预训练（数据按阶段配比编排，而非一锅炖）、质量优先的清洗底线（合成与课程都不豁免清洗——恰恰相反，合成数据同样要过质量门控）。

苏炜杰的视角为这张表提供了理论化的读法。他在 2025 年的公开访谈（雷峰网专访）中指出：算力和参数量相对良定义，“数据不是一个良定义的单一变量”——两份同样大小的数据，信息密度、任务结构、长尾覆盖、可验证性可能完全不同，所以 Scaling Law 可能在一份数据上成立而在另一份上不成立。这解释了为什么 2026 年的竞争焦点从”谁的数据多”转向”谁的数据管线能把智力密度做上去”：数据工程的本质，是把非良定义的数据变量，用生成、验证与课程化工艺，改造成良定义的工程变量。

3.4 范式之争：合成崩溃风险 vs 管线实证收益

合成数据的崛起并非没有反对者。本节把两派最强论据并置呈现——这不是平衡表演，而是工程决策必需的双面地图。

3.4.1 崩溃派：递归训练的诅咒

最著名的警告来自 Shumailov 等人的研究，先以预印本流传（“The Curse of Recursion”，arXiv:2305.17493），后发表于 Nature（“AI models collapse when trained on recursively generated data”，2024）。核心发现：当模型迭代地训练于自己（或他模型）生成的数据时，分布的尾部会首先丢失，模型输出逐渐同质化、退化，最终发生崩溃。机制上，合成数据继承了生成模型的分布截断——生成器写不出的表达，在合成语料中缺失，下一代模型的可表达空间进一步收窄，如此递归。社区给这个现象起了个刻薄的绰号：“哈布斯堡模型”——如同王朝近亲繁殖，每一代都比上一代更弱、更畸形。

但崩溃不是均匀的。「尾部先丢 → 同质化 → 崩溃」这个叙事给的是一幅单调、整体退化的图像，而 2026 年的证据显示退化是按特征分化的。Malet 与 Turinici（arXiv:2610.01318，2026-10-01）在扩散模型上做了多代参数动力学的线性响应分析（随机递归模型），结论是：有些特征脆弱——在替换协议与固定预算协议下都会在几代内丢失；有些特征稳健——在固定预算协议下可以在”几乎无界的时域”内保持。

这对工程监测有直接含义：只看整体多样性指标会漏报。Self-BLEU、嵌入聚类这类全局指标给的是平均值，而按特征分化意味着平均值可以纹丝不动、同时某一类能力已经静默消失。监测必须按能力/特征分轨——这与本书第 2 章已有的”分轨报告”结论一致，可互相引用。⚠️ 需注意该结果的适用边界：实验载体是扩散模型，向语言模型外推尚未被验证。

崩溃风险的现实入口正是 3.2 节所述的污染之墙：既然新增网络内容过半为 AI 生成，那么”闭眼爬取”的语料已经不可避免地混入模型输出。《2026 人工智能指数报告》延续了这一关切——2024 版报告曾援引”真实数据被合成数据替换会导致模型性能崩溃”的研究；报告同时指出，互联网正在从”人类经验的蓄水池”变成”机器输出的递归系统”。

崩溃派对”合成占比 55%“的解读因此是冷峻的：这个数字若不区分”带验证闭环的定向合成”与”无验证的递归自食”，本身就是风险信号。数据公地被合成内容稀释、头部实验室的训练数据透明度却在下降（AI Index 2026：基础模型透明度指数均值从 58 分跌至 40 分，2025 年 95 个前沿模型中 80 个未公开训练代码，几乎所有前沿模型的预训练数据透明度得分为零）——外部研究者既看不清公地的污染程度，也看不清各家管线的防护等级。

3.4.2 实证收益派：管线的胜利

另一面的证据同样有力。AI Index 2025 与 2026 版对最新研究的综述结论是：只要训练集中保留真实数据，合成崩溃可以避免；混合训练（真实 + 合成）可以在大规模场景下把训练加速 5-10 倍——尽管最终性能不超过纯高质量真实数据的上限。纯合成训练在窄域（分类、代码生成、低资源语言）与小模型上已被证明可行：报告引用的 SYNTHLLM 系列（Qin 等，2025）完全用合成数据训练，在 1B-8B 尺度上取得强劲成绩（如 SYNTHLLM-8B 在 GSM8K 达 92.1%），虽仍落后同尺度最优模型，但差距已明显收窄。

后训练侧的实证更加一边倒：SFT 与 RLVR 中的合成数据（含蒸馏）是 DeepSeek、Qwen、Llama 公开报告的标准配置，没有观察到崩溃——因为这些管线不是”递归自食”，而是”生成-验证-过滤”的闭环：数据出自教师模型，但要过 verifier 判分、过质量门控、过多样性度量，只有通过验证的样本才进入训练池。这印证了苏炜杰的判断：合成数据要避免崩溃，必须引入外部信息——要么是可验证的环境反馈（编译器、测试、定理检查器），要么是外部知识锚定（数据库、专家规则、真实语料校准）。崩溃发生在”模型输出 → 数据 → 模型”的封闭环路里；把环路打开一个口子，灌进现实世界的信号，崩溃的机制条件就不成立了。

工程界还为防崩溃发展出了配套纪律：多样性度量（Self-BLEU、嵌入聚类检测同质化）、真实数据配比下限（业界常见的做法是训练集中保留固定比例的锚定真实语料）、合成数据溯源标注（IEEE 标准的强制项）、定期用真实分布校准教师模型。

这四条里，“真实数据配比下限”此前只有经验依据——常见做法是拍一个固定比例（10%、20%），谁也说不清依据。2026 年这一条开始有理论支撑了：Marchi、Silvestre、Gharesifard 与 Tabuada（arXiv:2609.18878，2026-09-16）针对”训练集中需保留多少人类数据才能防止崩溃”给出了严格的理论下界。方法上的关键在度量选择：既有工作给出的形式下界在高维情形下会退化为空洞（vacuous）结论，原因是分析用了 $\mathbb{R}^n$ 上的欧氏度量、没有适配类别概率分布实际所在的空间；该文改用概率单纯形的信息几何结构、在 Fisher-Rao 度量下分析动力学，得到的收缩与不变性界随维度增长保持稳定、不退化为空洞。

对工程的两层含义：其一，“保留多少真实数据”是一个可以算的量，而不是拍脑袋的 10% 或 20%；其二，这个比例依赖数据分布的几何（维度、支撑集结构），因此把一个任务上跑通的经验比例平移到另一个任务是危险的——这正好解释了为什么业界各家的锚定比例五花八门却都说不清原因。⚠️ 待验证：本轮只取了摘要的定性结论（“有效所需比例与此前欧氏度量隐含的值不同”），具体下界表达式、所需假设与适用条件未回论文正文核；写入具体数值前必须先读正文。另：提案称该文扩展版已被 IEEE CDC 2026 接收，本轮在 arXiv abs 页的 Comments 字段未见到该记录，同样待核。质量与合成时代的悖论恰恰是：合成数据用得越多，真实数据的”锚定价值”越高——真实数据从训练主力退居为分布基准与验证锚点，但其战略地位不降反升。

3.4.3 调和：预训练与后训练的分界线

把两派证据放到同一个坐标系里，争议很大程度上是阶段错位造成的。

维度	崩溃派证据成立的条件	实证派证据成立的条件	第三种：固定预算（现实中最常见）
典型场景	预训练、无验证递归自食	后训练、带验证闭环的定向合成	持续预训练、每月合并新 CC 快照
数据来源	模型输出（含被污染的爬取语料）	教师模型 + 外部锚定 + verifier	历史数据 + 真实数据全保留，每代从中采固定大小样本
关键操作	无过滤、无真实数据保留	质量门控、多样性度量、真实配比下限	不删任何数据，但真实占比自然稀释趋零
结果	尾部丢失 → 同质化 → 崩溃	训练加速 5-10 倍，无崩溃报告	只部分退化：脆弱特征仍丢，稳健特征可长期保留
代表证据	Shumailov et al.（Nature 2024）	AI Index 2025/2026 综述；各家技术报告	Malet & Turinici（arXiv:2610.01318，2026-10）

补上第三列之后，这张表才覆盖了读者真正会遇到的形态：每月合并新 Common Crawl 快照 / 持续预训练（与第 4 章 §4.1.8、第 7 章 §7.11.4 的在线增量去重同源）就是固定预算协议。它的危险在于看起来什么都没做错——没有删真实数据、没有刻意提高合成占比，只是”新数据进、老池子采样”，真实占比却一代代被稀释掉。这也解释了为什么 §3.4.2 那条”保留固定比例真实语料”的纪律在持续预训练场景下会悄悄失效：比例不是被改小的，是被分母涨大的。

预训练的目标是建立对世界分布的完整覆盖——这里真实数据目前不可替代（AI Index 2026：无确凿证据表明合成数据可在预训练阶段抵消真实数据耗尽）。后训练的目标是在既有分布之上雕刻特定能力——这里合成数据已是事实主力（占比 >55%）。范式之争的正确解法不是站队，而是把分界线画在正确的位置：

预训练守真实，后训练主合成；可验证域放开造，开放域守锚点；评估集永远用真实。

苏炜杰的加入 OpenAI 本身也是这场争论的注脚：当合成数据的崩溃风险需要被量化、训练收敛性需要被证明时，这些问题已超出工程经验，进入统计学与数学的领地。行业用脚投票的结论是——合成数据管线不是要不要用的问题，而是需要什么级别的理论与验证来保驾护航的问题。

3.5 工程决策树：什么任务用真实数据，什么任务用合成数据

范式之争的最终落点是工程决策。本节给出一套可直接落地的判断框架，判据取五项：可验证性（输出能否被机器自动判分）、分布保真需求（任务是否要求贴近真实人类分布）、长尾覆盖需求（边缘案例的重要性）、隐私与合规约束（真实数据是否可用）、成本与时延预算（数据获取的经济学）。

3.5.1 决策树

任务输入
│
├─ Q1 输出可机器验证吗？（代码/数学/格式化输出）
│   ├─ 是 → Q2 有可信 verifier 吗（测试/编译/判分器）？
│   │        ├─ 是 → 【合成优先】RLVR + 定向合成，真实数据仅做评估锚点
│   │        └─ 否 → 先造 verifier，再回到上一分支（verifier 优先于数据）
│   └─ 否 → 进入 Q3
│
├─ Q3 任务要求贴近真实人类分布吗？（对话风格/文化/常识/开放域创作）
│   ├─ 是 → Q4 真实数据可合法获取吗？
│   │        ├─ 是 → 【真实优先】真实语料为底座，合成仅做扩增与均衡；
│   │        │        训练集中保留真实数据配比下限（防崩溃锚点）
│   │        └─ 否 → 【受限合成】差分隐私合成 / 授权数据蒸馏，
│   │                 外部知识锚定 + 严格溯源审计
│   └─ 否 → 进入 Q5
│
├─ Q5 是长尾/边缘场景吗？（罕见故障、罕见病、极端工况）
│   ├─ 是 → 【合成刚需】真实样本天然稀缺且昂贵，定向合成补长尾，
│   │        每条合成样本带验证标签与难度分级
│   └─ 否 → 进入 Q6
│
└─ Q6 这是评估集吗？
    └─ 永远 → 【真实且隔离】评估集必须来自真实分布、从未参与训练、
              人类复核标签；合成样本最多做压力测试补充，不得计入主指标

3.5.2 按任务类型的速查表

任务/数据类型	推荐策略	理由	风险与对策
预训练语料	真实为主，合成为辅	建立世界分布覆盖；AI Index：合成未证实可替代	合成部分需经质量门控与配比实验
数学推理（SFT/RL）	合成优先（RLVR）	verifier 完备；R1/各家已验证	验证器盲区 → 定期人工抽检
代码能力	合成 + 真实仓库混合	编译与测试即验证	许可证合规扫描（代码授权条款）
开放域对话/写作	真实为锚 + 合成扩增	风格与分布保真需求高	合成过量 → 同质化；设真实配比下限
医疗/法律垂直	合成为主（>50%，垂直领域普遍更高，具体比例随口径差异大）+ 合规真实集	隐私与稀缺约束	幻觉代价高 → 领域专家复核闭环
长尾边缘案例	定向合成刚需	真实样本不可得或成本指数级	标注”合成”来源，监控分布外行为
多模态对齐数据	合成管线（模拟器/渲染）	配对数据天然稀缺	模拟-现实差距（sim-to-real gap）
评估集	纯真实、held-out、人工复核	评估污染 = 自欺	定期轮换、私有问题集、证书级评测

3.5.3 三条铁律

铁律一：评估集的真实性神圣不可侵犯。用合成数据训练、再用合成数据评估，等于让考生自己出题。评估集必须来自真实分布、与训练数据严格隔离（去污染）、经人工复核，并定期轮换。这是整棵决策树上唯一没有例外的分支。

铁律二：真实数据的角色是锚，不是燃料。在合成占比高的管线里，真实数据的最优用法是分布锚点与验证基准——用量不大，但决定管线的天花板与安全边界。分配预算时，宁可压缩真实数据的”训练用量”，不可压缩其”锚定与评估用量”。

铁律三：合成数据的质量上限取决于验证机制，而非生成模型。这是 2026 年业界的共识性教训：换更强的教师模型提升有限，把 verifier、外部知识锚定、多样性度量、溯源审计这套验证体系做扎实，才是合成管线的天花板。教师模型负责”生成得像”，验证机制负责”生成得对”——后者才是数据工程的护城河。

3.6 对本书后续章节的导览

本章是《AI数据全书》“篇零：导论与数据范式”的收官章，为全书提供问题框架与坐标系。后续各篇将在本章铺设的地基上展开：

• 预训练数据篇：呼应 3.2 节的数据墙测算。语料工程（爬取、清洗、去重、配比、课程化）的全部工艺，都应放在”存量有限、访问收紧、成本曲线上升”的约束下重新理解。退火提分与多阶段课程设计（3.3.4）将在预训练篇的调度章节展开。
• 后训练数据篇：呼应 3.3 节。SFT 合成管线、蒸馏、RLVR 与 verifier 工程、偏好数据的采集与质量控制，是后训练篇的主体内容；本章的”标注经济学”分析为其提供成本论证。
• 合成数据篇：呼应 3.4 节的范式之争。合成数据的生成策略（可控生成、知识锚定、负样本构造）、验证闭环设计、崩溃防护纪律（多样性度量、真实配比下限、溯源标注）将系统化展开。本书建议读者先消化 3.4 的分界线——预训练守真实、后训练主合成——再进入该篇的技术细节。
• 数据质量与评估篇：呼应 3.5 节的三条铁律。质量门控的量化指标、评估集的隔离与轮换制度、污染检测方法，是该篇与本章的直接接口。
• Agent 数据篇：呼应 3.3.3 与 3.3.5 中 agentic 合成数据的线索（Kimi K2 式的工具调用演示管线、模拟环境 + 真实工具的构造方法）。Agent 数据是 2026 年后合成管线增长最快的分支，其 verifier 即环境本身。

一条贯穿全书的主线预告：数据工程的每一代工艺，都在回答同一个问题——下一单位的智能，从哪一条数据里来？堆量时代的答案是”下一条网页”，清洗时代是”下一条干净网页”，本时代正在给出的答案是”下一条通过验证的合成样本，或下一条仍具锚定价值的真实样本”。带着这个问题读后续各篇，工艺细节才不会失焦。

---