数据不再是燃料，而是配方：大模型数据工程从"越多越好"到"越准越好"的范式跃迁

引言：数据墙不是数据不够，而是数据不够好

大模型训练有一条被奉为圭臬的公式：更多的参数 + 更多的数据 = 更好的模型。这条由 Kaplan 等人 2020 年提出的 Neural Scaling Law，在过去六年里驱动着整个行业的前进方向。然而，到了 2026 年，这条公式的边际收益正在急剧递减。

问题出在哪里？不是数据不够多——Common Crawl 的原始语料已经超过 PB 级别，并且以每月数十 TB 的速度增长。真正的问题在于：这些数据里，有多少是”有效的”？

重复文本、低质量内容、AI 生成的合成污染、分布偏斜的长尾缺失……当你的语料库 30%-70% 是冗余的，当互联网上越来越多的内容本身是 AI 生成的，“堆量”这条路就走到了尽头。2026 年的一系列研究正在从三个方向同时回答同一个问题：如何让数据从”燃料”变成”配方”？

1. 理论层：质量感知的 Scaling Law，让”数据质量”从经验判断变成可量化的数学参数
2. 工具层：可控合成数据引擎，让数据生成从”碰运气”变成”可控设计”
3. 风险层：模型坍塌的流行病学模型，让数据污染从”事后发现”变成”事前预警”

三条线交汇，指向同一个结论：数据工程的范式，正在从”越多越好”转向”越准越好”。

一、给 Scaling Law 加上质量参数：从经验直觉到数学定律

1.1 Chinchilla 的盲区

2022 年的 Chinchilla 论文是 Scaling Law 的里程碑——它证明了，给定计算预算，模型参数量和训练数据量之间存在最优比例。但 Chinchilla 有一个根本性的隐含假设：所有 token 的价值是等价的。

这个假设在工程实践中显然不成立。从 RedPajama 去重后丢弃 40% 的文档，到业界普遍对高质量数据（代码、学术论文、书籍）进行 5-10 倍加权，所有从业者都在用”质量”这把尺子区分数据——但 Scaling Law 本身却没有给质量留位置。

1.2 Quality-Aware Scaling Law：Q 参数的引入

ICLR 2026 接收的论文《Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining》（芝加哥大学 Subramanyam, Chen, Grossman）填补了这个空白。

核心贡献是引入一个无量纲数据质量参数 Q ∈ (0, 1]，将 Chinchilla 框架扩展为：

$L(N, D, Q) = \frac{A}{N^\alpha} + \frac{B}{(D \cdot Q^\gamma)^\beta} + L_\infty$

其中 Q = 1 表示完全干净、无冗余的数据，Q 越小代表数据中的噪声和冗余越多。这不是一个简单的线性折扣——γ 参数揭示了有效数据量随质量衰减的亚线性规律：质量下降 10%，有效数据量的损失可能远超 10%。

论文给出了两种实用的 Q 估计方法：

• 腐败率代理（Corruption Rate Proxy）：通过注入已知噪声来校准数据集的等价腐败水平
• 缺陷度量（Deficiency Measure）：对比数据集与已知高质量基准的统计偏差

更关键的发现是：在相同的计算预算下，提升数据质量可以显著减少所需的模型规模。这意味着，与其花更多算力训练更大的模型，不如花更多精力清洗和筛选更好的数据——后者在成本效率上是碾压性的。

1.3 InfoLaw：质量加权与重复训练的统一框架

与上述工作互补，2026 年的另一篇论文《InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition》提出了更精细的框架。

InfoLaw 的核心思想是将预训练建模为信息累积过程：质量控制信息密度，重复引发随规模递减的报酬效应。传统 Scaling Law 无法可靠地跨数据混合配方或重复训练场景进行推估——而这恰恰是实际工程中最关键的决策。

InfoLaw 在未见过的数据配方和更大规模训练（最高 7B 参数、425B token）上，实现了损失值平均 0.15%、最大 0.96% 的绝对误差预测。这意味着：给定计算预算、数据来源和重复策略，你可以在训练之前就精确预测结果，而不是训练完才发现配比错了。

另一项 2026 年的研究《Scaling Laws for Mixture Pretraining Under Data Constraints》基于 2000+ 次预训练实验，发现了一个反直觉的规律：在混合训练中，稀缺目标语料可以被安全重复使用 15-20 次——远高于纯目标数据训练的重复容忍度。通用数据在此充当隐式正则器的角色，显著缓解了过拟合。这一发现为低资源语言和专业领域的数据工程提供了重要的实操指导。

二、从”逐条造数据”到”设计整个数据集”：Simula 的范式突破

2.1 合成数据的困境

合成数据不是新概念。从 Self-Instruct 到 Alpaca，从 Evol-Instruct 到 Persona Hub，合成数据的方法论在过去两年快速迭代。但所有方法都面临同一个困境：你在生成每一条数据，但你无法控制整个数据集。

具体来说，现有方法存在三个结构性缺陷：

• 覆盖盲区：依赖种子数据或手工提示词，长尾场景永远覆盖不到
• 难度失控：没有机制调节数据集的整体难度分布
• 质量漂移：模型倾向于生成”看起来合理”而非”确实正确”的内容

2.2 Simula 的四轴可控框架

2026 年 4 月发表于 TMLR 的 Simula（Google + EPFL）代表了合成数据工程的范式转变：不再逐条优化数据，而是设计整个数据集。

Simula 的创新在于将数据生成拆解为四个独立可控的轴：

第一轴：全局多样性。推理模型将目标领域递归拆解为层级知识树——比如网络安全威胁的完整分类体系（从 APT 攻击到社工钓鱼，从零日漏洞到供应链入侵）。这棵树确保了数据覆盖的长尾完整性，而不是只在热门话题上打转。

第二轴：局部多样性。在知识树的每个节点下，生成多种不同的场景和表述。同一个”SQL 注入”概念，可以从 Web 应用、API 网关、ORM 框架等不同视角展开，防止千篇一律。

第三轴：复杂度控制。可配置比例地将部分场景提升难度——比如将”检测 SQL 注入”升级为”在混淆流量中识别二阶注入”。关键在于：复杂度是独立于覆盖率和多样性的第三维控制旋钮。

第四轴：质量保证。双评审员机制同时询问模型”答案是否正确”和”答案是否错误”，两个独立判断交叉验证，抵消模型的 sycophancy（阿谀倾向）——即模型倾向于认同看似合理的错误答案。

2.3 “没有通用配方”这个发现本身最重要

Simula 的实验结果揭示了一个比任何单一数字都重要的洞察：同样的框架，在不同领域需要截然不同的参数配置。

在数学推理（GSM8k）上，10% 的高复杂度数据带来 10% 的准确率提升——教师模型（Gemini 2.5 Flash）在数学上足够强，生成的高复杂度数据质量可靠。但在法律推理（LEXam）上，高复杂度数据反而拖累了表现——教师模型在法律领域仅有 57% 正确率，双评审员的拒绝率高达 61%，说明生成的高复杂度法律数据质量不可靠。

这个发现的含义是深远的：数据工程不存在”万能配方”，数据集的设计必须与教师模型的能力边界对齐。脱离模型能力谈数据质量，就像脱离食材谈菜谱——纸上谈兵。

2.4 Simula 的生产验证

Simula 不是一篇论文，而是一个已经在 Google 内部大规模部署的生产系统：

• ShieldGemma（安全过滤）、MedGemma（医疗）、FunctionGemma（函数调用）等专用模型的主要数据来源
• Gemini 安全分类器、Android 通话诈骗检测、Google Messages 垃圾信息过滤的训练数据引擎
• 生产数据集规模从数百万到数千万级别，生成时间从 72-96 小时压缩到 3-24 小时
• 标注成本降低 96-98%，数据集规模可缩减 50% 而性能提升 10%

这些数字背后是一个根本性的转变：数据工程的瓶颈从”造得出”变成了”造得准”。

三、模型坍塌的流行病学：从个案观察到底层机制

3.1 坍塌不再是假说，而是可建模的现象

合成数据的最大风险是模型坍塌（Model Collapse）——模型训练在自己或同类模型的输出上，逐渐失去分布的多样性和保真度。但长期以来，坍塌更多是一种”直觉上的担忧”，缺乏精确的定量描述。

2026 年 6 月 5 日发表的论文《Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics》（arXiv:2606.05168）将这个问题推向了一个新高度：用流行病学模型来描述数据污染的传播。

3.2 双层 SIR 模型

论文提出将数据语料库和 AI 模型作为两个交互的种群，每个种群都有易感（Susceptible）、感染（Infected）、恢复（Recovered）三个状态：

• 数据层：干净语料 → 被合成数据污染 → 经过清洗恢复
• 模型层：未受污染的模型 → 在污染语料上训练 → 重新训练或清洗

两个层之间通过跨层传播耦合：模型生成合成数据污染语料，污染语料又训练出受影响的模型。论文推导出基本再生数：

$R_0 = \sqrt{\frac{\beta_D \beta_M}{(\gamma_D + \mu_D)(\gamma_M + \mu_M)}}$

当 R₀ > 1 时，数据污染会持续扩散；当 R₀ < 1 时，污染会被自然抑制。基于公开 AI 文本普及率数据的校准显示，在三种场景下 R₀ 均大于 1——这意味着在当前的生态系统中，合成数据污染倾向于自我放大而非自我修正。

Sobol 敏感性分析进一步识别出合成文本检测是影响力最大的参数——检测能力每提升一个单位，对抑制 R₀ 的效果远超其他干预手段。

3.3 累积 vs 替换：一条生死线

斯坦福大学 David Donoho 团队 2025 年发表于 ICML 的研究《Collapse or Thrive?》给出了更本质的数学刻画：

• 替换范式：每代训练用合成数据替换真实数据 → 无一例外坍塌，测试损失发散，方差趋零
• 累积范式：每代训练保留全部真实数据并加入合成数据 → 测试损失稳定收敛，某些设置下甚至优于纯真实数据训练

在一维高斯分布下，累积范式的方差渐近收敛到 σ²₀·sin(π/n)/(π/n)，均值偏差有界。翻译成人话：只要真实数据不删，方差不会爆炸，均值也不会跑偏。真实数据就是锚——锚在，船就不会飘走。

但这里有一个被忽视的隐患。芝加哥大学等机构的 Yi 等人的研究（ICLR 2026 接收）揭示：即使使用验证者（verifier）来筛选合成数据，短期可以改善性能，但长期来看，模型会逐渐收敛到验证者的”知识中心”——如果验证者本身有偏差，这种偏差会在迭代中被逐步注入并固化。早期收获会递减，甚至逆转。

这意味着”累积 + 验证”不是万能保险——它赢得的是时间，不是永恒。

3.4 信息论判据：何时合成数据有用，何时有害？

北京大学邓小铁课题组的 ICML 2026 论文《An Information-Theoretic Criterion for Efficient Data Synthesis》从信息论角度给出了更精确的判据。

论文的核心贡献是基于数据处理不等式（Data Processing Inequality）的框架：合成数据能提供有效信息的充要条件是，合成过程中引入的外部信息（如验证器反馈、环境交互结果）必须大于合成过程本身造成的信息损失。

这不是一个抽象的理论——它直接解释了两个看似矛盾的现象：

• 代码和数学领域的合成数据经常有效：因为程序执行和数学验证提供了独立于模型的信息来源
• 纯文本生成的合成数据经常有害：因为没有外部信息锚点，合成过程只有信息损失，没有信息增益

四、行业影响：数据工程正在成为大模型竞争的核心壁垒

4.1 从”算法壁垒”到”数据壁垒”

当模型架构趋于同质化（Transformer 及其变体）、训练方法趋于标准化（RLHF/DPO/GRPO），数据工程正在成为大模型竞争的最后差异化壁垒。

Google 的 Simula 不是开源项目——它是一个生产系统，其价值不在于算法（四轴控制的方法论可以公开），而在于与 Google 生态的深度绑定：Gemini 教师模型的强大能力是 Simula 效果的前提，而 Simula 生成的高质量数据又反过来强化了 Gemma 系列和 Gemini 安全分类器的表现。这是一个数据飞轮——谁先启动，谁就持续领先。

4.2 中小玩家的路径选择

对于没有 Google 级别教师模型的团队，SMT（Synthetic Mixed Training，斯坦福 Yejin Choi 团队）提供了一条更务实的路径。

SMT 的核心发现是：将合成问答对与合成文档按 1:1 比例混合训练，可以超越传统 RAG 方案——在 QuALITY 数据集上领先 4.4%。组合 Focal Rewriting 技术后，8B 及以下轻量模型仅需少量高质量合成数据就能达到甚至超越 RAG 的效果。

这对中小团队意味着：不需要参数竞赛，不需要复杂检索系统，只要数据配方对，8B 模型也能打赢 RAG 增强的 70B 模型。

4.3 数据治理的紧迫性

模型坍塌的流行病学模型揭示了一个被低估的现实：数据污染不是某个团队的私事，而是一个生态级问题。当一个模型的合成数据进入公共语料库，它会影响所有后续训练的模型——这是典型的负外部性。

KCL 和 NTNU 发表于 Physical Review Letters 的研究甚至发现，引入哪怕一个真实数据点到闭环中，就能完全阻止模型坍塌。这给数据治理提供了最小可行方案：确保训练数据中始终有可验证的真实数据来源，哪怕比例很小。

五、未来展望：数据工程的三个开放问题

第一，质量评估的自动化。 Q 参数的估计目前依赖腐败率代理或缺陷度量，这些方法在受控环境下有效，但在真实语料上如何高效、大规模地估计 Q 值，仍是一个开放问题。需要开发不依赖参考基准的在线质量评估方法。

第二，合成数据的信息论边界。 北大的信息论判据给出了原则性框架，但如何精确量化”外部信息增益”和”合成信息损失”的差值，在非代码/非数学领域（如创意写作、社会推理）仍然极其困难。这些领域缺乏可靠的验证器。

第三，数据生态的治理机制。 SIR 模型告诉我们数据污染有传染性，但没有给出治理方案。是否需要建立数据来源的溯源标准？是否需要为训练数据中的合成比例设定上限？这些问题正在从学术讨论走向政策议程。

结论

2026 年的数据工程正在经历一次范式跃迁——从”更多数据”到”更好数据”，从”经验配比”到”理论指导”，从”逐条生成”到”整体设计”。

三条技术线的汇合正在重塑这个行业：

• 质量感知的 Scaling Law 让我们第一次可以量化”数据质量”的价值，并用数学证明：提升质量的 ROI 远超堆量
• 可控合成数据引擎 让我们从被动接受互联网语料，转向主动设计数据集——覆盖什么、难度多高、质量多严，都可以精确控制
• 坍塌的流行病学模型 让我们对合成数据的风险有了定量理解——不是”能不能用合成数据”，而是”在什么边界条件下可以用”

一句话总结：数据工程的瓶颈，已经从”数据不够”变成了”数据不准”。谁能更精确地回答”什么样的数据训练出什么样的能力”这个问题，谁就掌握了大模型竞争的下一把钥匙。

补充注记

本文讨论的 Quality-Aware Scaling Law（Subramanyam 等人，ICLR 2026）中，Q 参数的两种估计方法——腐败率代理和缺陷度量——均在受控噪声注入实验中验证，其在真实大规模预训练语料上的鲁棒性仍需进一步研究。此外，InfoLaw 的质量分桶（六桶制）依赖经验划分，最优分桶策略的系统性消融实验尚不充分。

Simula 的”没有通用配方”发现与 DISTAL 框架（见本站研究提案）的”数据合成必须与策略能力对齐”思路形成呼应——两者都指向同一个结论：脱离消费者（模型/策略）的能力边界来设计数据，无论设计多么精巧，效果都会打折扣。