数据配比的科学：从拍脑袋到可预测的配方设计
深度解读预训练数据配比优化的六大前沿方法——Data Mixing Laws、DeMix、SampleMix、QuaDMix、MoDE 和 Meta 合成数据配比实验，揭示数据配比如何从经验驱动走向科学化
本期主题：预训练数据的”配方”问题，终于有了科学解法
如果把大模型预训练比作酿酒，那么数据配比就是酒方——网页文本、代码、数学、学术论文、百科……每种”原料”放多少，直接决定了最终模型的口感。
过去，这个配方设计高度依赖直觉和有限的消融实验。LLaMA 团队公开过他们的配比，但从未详细解释为什么是这个比例。大多数团队的做法是：参考前人经验 → 凭感觉调一版 → 跑个小实验看看 → 差不多就行。这种”拍脑袋 + 小规模验证”的模式存在根本性缺陷：搜索空间呈指数增长，而算力预算是有限的。当数据源从 5 个增加到 20 个，组合爆炸让穷举搜索变得不可能。
好消息是，2025-2026 年涌现了一批系统性解决这一问题的研究。它们从不同角度回答了同一个问题：如何科学地确定预训练数据的最优配比？ 本期逐一深度解读。
重点论文解读
1. “Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance” (ICLR 2025)
来自复旦大学 MOSS 团队（邱锡鹏组）
核心发现：
这篇论文的核心贡献是发现了一个令人振奋的事实：模型性能与数据混合比例之间存在可拟合的函数关系——他们称之为”数据混合定律”（Data Mixing Laws）。这意味着，你不需要为每个配比都训练一个完整的模型来评估效果，而是可以用数学函数直接预测。
方法论路径清晰优雅：
- 在少量不同配比的样本上训练小模型
- 拟合”配比 → 性能”的函数关系
- 用函数直接计算最优配比，无需额外训练
- 嵌套使用训练步数定律 + 模型规模定律 + 数据混合定律，实现”小模型 → 大模型”的外推
实验验证：在 RedPajama 上训练 1B 模型（100B tokens），使用 Data Mixing Laws 优化的配比达到了与默认配比多训练 48% 步数才能达到的性能。换言之，好的配比相当于”免费”获得了近一半的额外算力。
更值得注意的是，该方法同样适用于持续训练场景——可以精确预测避免灾难性遗忘的关键混合阈值。
对实践的启示：
Data Mixing Laws 证明了一个工程直觉：数据配比不是玄学，而是可预测的工程问题。实践建议：
- 建立配比实验基线：用 3-5 组不同配比训练 150M 小模型，积累数据点
- 拟合预测函数：用这些数据点拟合 Data Mixing Laws，比穷举搜索效率高几个数量级
- 动态调优：该方法支持在训练过程中动态调整配比，不必从头开始
2. “DeMix: Decouple Searching from Training” (arXiv 2026.01)
核心发现：
如果说 Data Mixing Laws 用数学函数预测配比效果，DeMix 则提出了一个更激进的方案：用模型合并（Model Merging）来替代代理训练，将配比搜索的成本降到几乎为零。
传统的配比搜索流程是：为每个候选配比训练一个代理模型 → 评估 → 选最优。DeMix 的创新在于：
- 分别训练组件模型：在每个独立数据源上各训练一个小模型
- 加权合并代替重训练：想评估某个配比？直接按比例合并对应的组件模型权重即可
- 搜索成本解耦：评估一个配比只需要做一次模型合并（秒级），不需要训练（天级）
这意味着你可以在几乎零边际成本下评估数千种配比组合。
实验表明，DeMix 找到的配比在 benchmark 上的性能，持续优于传统的小模型代理实验和启发式方法，同时搜索成本降低了数个数量级。
更重要的是，团队开源了 DeMix Corpora——一个 22T tokens 的高质量预训练数据集，附带经过验证的推荐配比，代码也完全开源（GitHub）。
对实践的启示：
DeMix 的方法论对数据团队的价值在于：
传统流程 DeMix 流程 ┌──────────────┐ ┌──────────────┐ │ 选一组配比 │ │ 各数据源分别 │ │ 训练代理模型 │ ← 重复 N 次 │ 训练组件模型 │ ← 只做 1 次 │ 评估性能 │ │ │ └──────────────┘ └──────────────┘ ↓ ↓ 选最优（N 次成本） ┌──────────────┐ │ 加权合并 + 评估 │ ← 秒级，无限次 └──────────────┘ ↓ 选最优（~0 成本）对于资源有限的团队，22T 的 DeMix Corpora 本身就是巨大的价值——不用自己从头构建语料库。
3. “SampleMix: A Sample-wise Pre-training Data Mixing Strategy” (EMNLP 2025 Findings)
来自美团 + 北京大学
核心发现：
前面的论文都在”域级”（domain-level）上做配比优化——决定代码数据占 20%、数学占 10%、网页占 70%。但 SampleMix 提出了一个更根本的问题：为什么要以”域”为单位？域的边界本身就是模糊的。
SampleMix 的范式转变：从自上而下（先定域权重，再域内均匀采样）→ 自下而上（对每个样本独立评估，全局跨域采样）。
具体做法：
- 为每个样本同时评估质量（用多维标准）和多样性（对全局数据集的互补性）
- 根据评估结果为每个样本分配独立的采样权重
- 域的分布不是预先设定的，而是从样本级权重中涌现出来的
这种方式自然地解决了两个传统方法的痛点：
- 域间重叠：很多文档跨域（比如一篇关于 AI 的科学论文，到底算”学术”还是”AI/代码”？），样本级方法无需纠结分类
- 域内异质性：同一个域的数据质量差异巨大，均匀采样浪费了高质量样本的价值
实验结果：SampleMix 仅用基准模型 1.4-2.1 倍的训练步数就达到了相同性能，在多个下游任务上超越了所有基于域的配比方法。
对实践的启示：
SampleMix 代表了数据配比思维的一次范式跃迁：
- 不要过度依赖”域”的概念：真实数据的边界远比 “code / math / web” 这种标签复杂
- 样本级评估是值得投入的：虽然前期成本高，但下游收益显著
- 质量 × 多样性是正确的优化目标：不是简单的质量过滤，也不是简单的多样性采样，而是两者的联合优化
4. “QuaDMix: Quality-Diversity Balanced Data Selection” (ByteDance, 2025)
核心发现：
字节跳动的 QuaDMix 与 SampleMix 独立地走到了类似的结论——质量和多样性必须联合优化——但提供了不同的工程实现路径。
QuaDMix 的方法论：
- 多标准质量评估：不依赖单一指标，而是提出多个质量度量标准
- 领域分类衡量多样性：用分类器区分数据点的领域归属，确保覆盖面
- 参数化采样函数：设计统一的函数，输入质量分数和多样性标签，输出采样概率
- 高效参数搜索：在小模型上模拟，用 LightGBM 搜索最优参数（借鉴了 RegMix 的思路）
关键结果：QuaDMix 在多个 benchmark 上实现了平均 7.2% 的性能提升，且显著优于单独做质量过滤或单独做多样性采样的策略。
对实践的启示：
QuaDMix 提供了一个可工程化的框架来同时优化质量和多样性：
策略 质量 多样性 效果 只做质量过滤 ✅ ❌ 数据趋同，能力偏科 只做多样性采样 ❌ ✅ 混入低质量数据 先过滤再采样 ✅→✅ ❌→✅ 流水线割裂，次优 QuaDMix ✅+✅ ✅+✅ 联合优化，+7.2% 用 LightGBM 做参数搜索是一个很实用的工程技巧——比 grid search 快几个数量级。
5. “Optimizing Pre-Training Data Mixtures with Mixtures of Data Experts” (ACL 2025)
核心发现：
前面的方法都在训练之前或之外确定配比。MoDE（Mixture of Data Experts）提出了一个更动态的思路：让模型在训练过程中自己学习最优的数据调度策略。
核心架构：
- 为每个数据域训练一个轻量级专家适配器
- 引入门控网络，根据训练损失动态决定各域的贡献权重
- 训练早期，模型自动更多地使用通用文本；后期逐渐转向代码和数学等专业数据
这本质上是一个自动化的课程学习（Curriculum Learning）系统——模型不仅在学习数据，还在学习”什么时候学什么数据”。
关键发现：MoDE 学到的动态课程表与传统 Scaling Law 预测的静态最优配比存在显著差异，但在实际训练中表现更好。这说明最优配比不是固定的，而是随训练阶段变化的。
对实践的启示：
MoDE 揭示了一个被忽视的维度——时间：
- 静态配比（训练全程 70% 网页 + 15% 代码 + 15% 其他）是次优的
- 理想的配比应该是随训练进度动态调整的课程表
- 如果不具备实现 MoDE 的工程条件，至少可以分阶段手动调整配比（如 上一期 中训练的三阶段策略）
合成数据的配比之谜
”Demystifying Synthetic Data in LLM Pre-training” (EMNLP 2025)
来自 Meta FAIR 团队
随着高质量自然数据接近枯竭，合成数据被寄予厚望。但合成数据在预训练中到底该怎么用？放多少？Meta FAIR 团队用超过 1000 个 LLM、10 万+ GPU 小时的大规模实验给出了系统性答案。
关键发现：
| 发现 | 具体结论 | 实践指导 |
|---|---|---|
| 纯改写合成数据 | 单独使用不比自然数据更快 | 别指望合成数据完全替代自然数据 |
| 最优混合比例 | 1/3 改写合成 + 2/3 自然数据可加速 5-10× | 这是经过大规模验证的”黄金比例” |
| 教科书风格合成 | 单独使用导致多领域 loss 显著升高 | 合成教科书不能作为主食，只能作为辅食 |
| 比例随规模收敛 | 最优合成比例随模型大小和数据预算变化，经验收敛于 ~30% | 30% 是安全起点 |
| 生成器规模 | ~8B 参数的生成器已经足够，更大不一定更好 | 不必用最大模型生成合成数据 |
| 模型崩溃 | 改写合成无退化，教科书合成有崩溃风险 | 改写 > 纯生成 |
最佳实践配比参考：
推荐的合成数据配比方案：
┌─────────────────────────────────────────────┐
│ 自然 Web 数据 ████████ 65-70% │
│ 改写合成数据（Rephrase） ███ 25-30% │
│ 教科书风格合成（可选） █ 0-5% │
└─────────────────────────────────────────────┘
生成器选择：8B 参数级别即可
改写策略：对自然数据进行结构化改写（非简单同义替换）对实践的启示：
这是目前关于合成数据配比最大规模、最系统性的实证研究。核心信息是：
- 合成数据是增强剂，不是替代品——别试图完全抛弃自然数据
- 30% 是魔法数字：这个比例在不同模型规模和数据预算下都表现稳定
- 改写比纯生成安全得多——改写保留了自然数据的分布特征，纯生成容易引入分布偏移
- 8B 生成器是性价比甜点——用 70B 模型生成合成数据并不会带来成比例的收益
方法论比较：一张图看懂六种方法
配比粒度
↑
│
样本级 │ SampleMix QuaDMix
│ (美团) (字节)
│
│
域级 │ Data Mixing DeMix MoDE
│ Laws (复旦) (开源) (ACL)
│
│
合成配比 │ Demystifying Synthetic Data (Meta)
│
└───────────────────────────────→ 动态性
静态 搜索解耦 训练中动态
(训练前确定) (训练前，零边际) (随训练变化)| 方法 | 粒度 | 核心技术 | 搜索成本 | 开源 | 适用场景 |
|---|---|---|---|---|---|
| Data Mixing Laws | 域级 | 函数拟合 + 嵌套定律 | 低（几次小实验） | ✅ | 有明确域划分的场景 |
| DeMix | 域级 | 模型合并 | 极低（秒级） | ✅ + 22T 数据 | 资源有限、需要快速迭代 |
| SampleMix | 样本级 | 质量×多样性联合评分 | 中（需全量评估） | 部分 | 数据异质性高的场景 |
| QuaDMix | 样本级 | 参数化采样 + LightGBM | 中 | 部分 | 工程化需求强的场景 |
| MoDE | 域级+动态 | 门控网络自适应 | 内化在训练中 | 未知 | 算力充足、追求极致 |
| Meta 合成配比 | 合成/自然 | 大规模消融实验 | —（经验值） | ✅ | 使用合成数据的团队 |
本期思考
预训练数据配比正在从”艺术”变成”科学”。 回顾过去两年的进展，可以清晰地看到三条演进路线：
第一条线：从启发式到可预测。Data Mixing Laws 证明了配比效果可以用数学函数拟合和预测，DeMix 进一步将搜索成本降到了几乎为零。这意味着”拍脑袋定配比”的时代应该彻底结束了。
第二条线：从域级到样本级。SampleMix 和 QuaDMix 不约而同地指出，“域”是一个过粗的抽象——真实数据的质量和价值在样本级别差异巨大。未来的配比优化必然会走向更细粒度。
第三条线：从静态到动态。MoDE 揭示了最优配比不是一个固定数字，而是随训练阶段变化的函数。训练初期多用通用数据打基础，后期增加专业数据深化能力——这与人类学习的节奏惊人地一致。
对于正在做预训练的团队，最立竿见影的行动是：放弃拍脑袋，用 Data Mixing Laws 或 DeMix 建立配比搜索的基础设施。这是一次性投入、持续受益的事情。如果你还在用合成数据，Meta 的 30% 规则是一个经过大规模验证的安全起点。
下期预告：多语言预训练数据的质量鸿沟——JQL 框架、跨语言数据策展，以及低资源语言的数据工程策略