预训练数据的 Scaling Laws 再审视：从「拟合一条线」到「理解这条线为什么会弯」

本期主题：Scaling Laws——预训练数据工程的「万有引力定律」正在被重写

2020 年 OpenAI 的 Kaplan 定律和 2022 年 DeepMind 的 Chinchilla 定律，为 LLM 训练提供了一套看似简洁优雅的指导框架：给定算力预算，模型参数和训练数据应按一定比例增长，loss 可预测地下降。这条「幂律曲线」指导了 GPT-4、Llama 3、Gemini 等几乎所有主流大模型的训练决策。

但 2024-2026 年间，这条曲线开始「弯」了。

不是 Scaling Laws 不对，而是我们发现它遗漏了太多东西：数据质量、数据重复、推理成本、下游任务的非线性涌现、交叉熵损失本身的构成……每一个被忽略的维度，都在大规模训练中引发了预测偏差。与此同时，一个更根本的问题正在逼近——互联网上的高质量人类文本数据正在耗尽，Scaling Laws 的前提假设（无限新鲜数据可用）正在瓦解。

本期，我们系统梳理 Scaling Laws 领域的最新研究进展，不是简单回顾历史，而是聚焦一个核心问题：当数据成为瓶颈，Scaling Laws 如何指导我们做出更好的数据工程决策？

Scaling Laws 的认知演进：

2020 (Kaplan et al.)：
  → L = f(N, D)，loss 随参数和数据幂律下降
  → "模型参数比数据更重要"
  → 最优比例 ≈ 1:25（参数:tokens）

2022 (Chinchilla)：
  → 修正：数据和参数同等重要
  → 最优比例 ≈ 1:20
  → "训练小模型用太少数据是浪费"

2024-2026（当前阶段）：
  → L = f(N, D, Q, K, I, h, ...)
  → 数据质量 Q、重复轮次 K、推理成本 I、域配比 h 全都影响最优决策
  → "一条线拟合不了这个世界"

---

一、质量维度：Chinchilla 的「第三个变量」

经典 Scaling Laws 把所有 token 一视同仁——1T 噪声数据和 1T 高质量数据，在公式里是同一个 D。这显然不对，但直到最近才有研究给出了形式化的修正。

1. Scaling Laws Revisited: Modeling the Role of Data Quality (ICLR 2026)

作者：Anirudh Subramanyam, Yuxin Chen, Robert L. Grossman

核心贡献：在 Chinchilla 框架中引入无量纲数据质量参数 Q，将 loss 建模为 L = f(N, D, Q) 的三变量联合函数。

方法要点：

• 基于有效样本量（effective sample size）和信息论视角：含噪/冗余语料的有效信息量低于其名义数据量
• 提出 Q 的两种实用估计器：corruption rate proxy（通过数据损坏率近似）和 deficiency measure（通过缺陷度量量化）
• 在神经机器翻译和自回归建模上，通过多级噪声注入系统性控制数据质量进行验证

关键发现：

发现	含义
有效数据量随质量呈亚线性衰减	数据质量下降 50% 不等于有效数据量减半——实际损失更小，模型有一定容忍度
对中等程度损坏具有鲁棒性	不需要「极致洁癖」，适度的噪声不会显著拖累 loss
高质量数据大幅降低所需模型规模和算力	这是数据策展投入的经济学基础：投资数据清洗比堆算力更划算

对实践的启示：这篇论文给出了一个可操作的框架——如果你能估计数据集的「质量参数 Q」，就能用缩放定律直接计算：是花钱清洗数据更划算，还是堆更大的模型更划算。对于做数据策展的团队，这是第一次有了量化 ROI 的理论工具。

2. Revisiting Scaling Laws for Language Models: The Role of Data Quality and Training Strategies (ACL 2025)

作者：Zhengyu Chen, Siqi Wang, Teng Xiao, Yudong Wang 等

这篇文章从实证角度出发，训练了超过 400 个模型，系统性地分析了 Scaling Laws 在实际训练中的偏差。

核心发现：

• 「亚缩放」（Sub-scaling）现象的根因有两个：(1) 高数据密度（冗余）导致收益递减，(2) 非最优资源分配拖累性能
• 提出的亚最优缩放定律（Sub-optimal Scaling Law）能更准确地预测现实中常见的亚缩放区间
• 核心信息：数据的多样性比数据的数量更重要——单纯堆量不一定线性提升性能

两篇论文的对比：

Subramanyam et al. (ICLR 2026)     vs     Chen et al. (ACL 2025)
─────────────────────────────────         ─────────────────────────────
理论驱动                                   实证驱动
引入显式参数 Q                             通过 400+ 模型实验观察
"质量可以数学建模"                         "亚缩放的根因是冗余和分配"
提供 Q 的估计器                            提供新的拟合公式
聚焦噪声/损坏                              聚焦冗余/多样性

→ 互补关系：一个解决"怎么量化质量"，另一个解决"质量不足会怎样"

---

二、交叉熵分解：为什么 Loss 曲线在大规模时「弯」了？

Scaling Laws 的核心预测对象是交叉熵 loss。但 loss 下降到一定程度后，下降速度比幂律预测的更慢——这个现象在近年来的大规模训练中反复出现。是 Scaling Laws 错了，还是 loss 本身不是一个好指标？

3. What Scales in Cross-Entropy Scaling Law? (ICLR 2026)

作者：Junxi Yan, Zixi Wei, Qingyao Ai, Yiqun Liu, Jingtao Zhan

这篇论文的答案极其优雅：不是 Scaling Laws 错了，而是交叉熵 loss 不全是「可缩放」的。

核心方法：将交叉熵损失分解为三个独立组分——

组分	说明	随规模的行为
Error-Entropy（误差熵）	模型预测与真实分布的差距	✅ 遵循稳健的幂律缩放
Self-Alignment（自对齐）	模型自身概率分布的结构性质	❌ 基本不变
Confidence（置信度）	模型输出的确定性程度	❌ 基本不变

关键洞察：在小模型中，误差熵占交叉熵的主导比例，所以整体 loss 看起来很好地遵循幂律。但随着模型变大，误差熵占比下降，另外两个不缩放的「常数项」开始主导——所以总 loss 的下降速度变慢了。

这就像测量一个人跑步的总时间：加速阶段（误差熵下降）和穿鞋/热身时间（自对齐+置信度）被混在一起。小规模时加速阶段占主导，所以总时间下降很快；大规模时加速空间耗尽，固定开销就显现了。

对实践的启示：如果你在用 loss 曲线来评估数据质量或决定何时停止训练——要注意，loss 的下降放缓不一定意味着数据不行或模型饱和，可能只是交叉熵中不可缩放的部分在主导。建议同时监控 Error-Entropy 组分（如果可行）或下游任务指标，而非只看 loss。

---

三、下游预测：从 Loss 到真正有用的指标，这条路有多远？

Loss 下降不等于下游任务变好——这个直觉得到了越来越多研究的验证。

4. Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check (Findings of EMNLP 2025)

作者：Nicholas Lourie, Michael Y. Hu, Kyunghyun Cho (NYU)

这篇论文对下游 Scaling Laws 做了一次「元分析」，结果令人警醒：

核心数据：在 Gadre et al. (2024) 的 46 个下游任务中，仅 39%（18/46）展现出可预测的平滑缩放。

论文将缩放行为分为六类：

46 个下游任务的缩放行为分布：

可预测缩放 ████████████████████ 39% (18/46)
  → 经变换后近似线性，可外推

逆缩放     ████                   ~9%
  → 模型越大性能反而下降

非单调     ██████                ~13%
  → 先升后降或波动

噪声缩放   ████████              ~17%
  → 有上升趋势但波动极大

无趋势     ████                  ~9%
  → 性能平坦

突破式     ██████                ~13%
  → 先平坦→突然跃升（涌现）

更关键的是：同一个任务，在不同实验设置（模型架构、提示格式、答案选项数）下，缩放行为可以定性改变。CommonsenseQA 在一个实验中非单调，在另一个中平滑；BoolQ 在一个中有趋势，在另一个中无趋势。

5. Revisiting the Scaling Properties of Downstream Metrics in LLM Training (arXiv 2025)

作者：Jakub Krajewski, Amitis Shidani, Dan Busbridge, Sam Wiseman, Jason Ramapuram (Apple)

Apple 的这篇工作则提出了一个反转结论：直接对下游指标建模，比两阶段方法（Loss→Performance）更可靠。

方法：在固定 token-参数比（TPR）下，下游对数精度遵循幂律 -log(Q) = A/C^α。基于 130+ 次训练（最大 17B 参数、350B tokens），在 12 个基准上验证。

关键发现：

• 直接方法的验证误差更低、外推更稳定，因为两阶段方法有误差累积
• 但数据配比高度敏感——只用 C4 时，代码和数学基准缩放明显衰减
• 缩放定律的有效性只在特定数据混合的上下文中成立

两篇论文的综合启示：

Scaling Laws 用于预训练决策（算力分配、数据量规划）时相对可靠。但用于预测特定下游任务的表现时，可靠性显著下降——尤其是涉及涌现能力的任务。数据工程师应该对 loss-based 的决策保持审慎，同时在关键下游任务上设置早期检查点评估。

---

四、数据受限时代：当「新鲜数据」不再无限

数据天花板：Epoch AI 的预警

Epoch AI 的系统性分析（Villalobos et al., 2024 更新版）给出了一个令人不安的数字：

指标	数值
公开高质量人类文本总量（中位数估计）	~300T tokens
90% 置信区间	100T ~ 1000T tokens
数据耗尽时间（计算最优训练）	~2028 年
数据耗尽时间（过度训练 5 倍）	~2027 年
数据耗尽时间（过度训练 10 倍，如 Llama 3）	2025-2027 年

当数据不再无限可用，经典 Chinchilla 定律的核心假设——「给每个 token 最多训一遍」——就不再成立。这催生了两个关键问题：(1) 数据重复训练的代价有多大？(2) 算力该如何重新分配？

6. Scaling Data-Constrained Language Models (JMLR 2025, NeurIPS 2023 Outstanding Paper)

作者：Niklas Muennighoff, Alexander M. Rush, Boaz Barak 等 (HuggingFace)

这篇获得 NeurIPS 2023 杰出论文奖的工作，是数据受限 Scaling Laws 的奠基之作。

核心贡献：提出数据受限缩放定律——当数据不足以单遍训练时，如何在模型规模和训练轮次之间做最优权衡。

关键结论：

• 多轮训练的 token 价值会衰减：第 2 遍看到的数据，等效新鲜数据的比例约为 0.7；第 4 遍约为 0.5
• 数据受限时，应该训更小的模型更多轮，而非训大模型少轮——这与经典 Chinchilla 的建议相反
• 重复 4 轮以内的性能损失相对可控，但超过 4 轮后急剧恶化

7. Larger Datasets Can Be Repeated More (ICLR 2026)

作者：Tingkai Yan, Haodong Wen 等（清华大学）

这篇论文对 Muennighoff 的经验结论做了理论修正：

核心发现：「LLM 训练最多 4 轮与新鲜数据差别不大」这个结论忽略了一个关键因素——重复的容忍度取决于数据集大小和分布，不是一个固定常数。

• 定义了有效数据重用率 E(K, N)：训练 K 轮等效于多少新鲜数据
• 理论证明：E(K, N) 的饱和值随 N 增长（强凸情况下为 Θ(log N)）
• 含义：数据集越大，可以重复更多轮而不显著损失性能

数据重复的有效性与数据集规模的关系（示意）：

有效数据重用率 E(K,N)
│
│   N=10T tokens ─────────────────────── 饱和较晚
│   N=1T tokens  ────────────── 饱和中等
│   N=100B tokens ────── 饱和较早
│
│  线性参考线 (E=K)
│ ╱
│╱
└───────────────────────────────── 训练轮次 K
     1    2    4    8   16   32

→ 小数据集（100B）重复 4 轮后迅速饱和
→ 大数据集（10T）可以重复 8-16 轮仍有显著收益

对实践的启示：如果你在做垂域持续预训练，手上只有几百 B tokens 的领域数据，重复训练的天花板比你想象的低。但如果你在用全量互联网数据（几十 T tokens），可以更放心地多跑几轮。关键是要根据自己的数据规模来决定训练策略，而非套用一个固定的「最多 4 轮」经验法则。

---

五、推理与部署：训练不是终点

8. Beyond Chinchilla-Optimal: Accounting for Inference (ICML 2024)

作者：Nikhil Sardana, Jacob Portes, Sasha Doubov, Jonathan Frankle (Databricks/MosaicML)

经典 Chinchilla 只优化训练效率。但现实中，一个模型训完后要服务数十亿次推理请求——推理成本远超训练成本。

核心贡献：修改 Chinchilla 定律，将推理成本纳入总成本优化。

场景	Chinchilla 最优策略	推理感知最优策略
低推理量（研究用途）	大模型 + 适量数据	基本一致
中推理量（~10 亿请求）	大模型 + 适量数据	更小模型 + 更多数据
高推理量（~100 亿请求）	大模型 + 适量数据	显著更小的模型 + 大量过度训练

关键发现：

• 当 token/参数比推到极端（高达 10,000:1）时，模型质量仍在持续提升，没有饱和
• Chinchilla 定律在外推到非典型比例时存在系统性偏差——会高估额外 token 在极端范围的贡献
• 这解释了为什么 Llama 3 采用了远超 Chinchilla 最优的过度训练策略（token/参数比约 100:1）

对实践的启示：如果你的模型要大规模部署，从一开始就应该按推理感知的 Scaling Laws 来规划——选择更小的模型，用更多数据（可能包括重复数据）训练更久。这也意味着数据工程团队需要准备更多有效训练数据，或者更高质量的重复数据。

---

六、数据配比的 Scaling Laws

9. Scaling Laws for Optimal Data Mixtures (Apple, 2025)

作者：Mustafa Shukor (Sorbonne University), Louis Bethune, Dan Busbridge 等 (Apple)

当训练数据来自多个领域时，如何确定最优配比？传统做法是试错。Apple 的这篇工作用 Scaling Laws 解决了这个问题。

方法：提出两种缩放定律公式——

• 加法定律：最优混合比例不依赖模型规模，参数少（5+2k），适合快速估计
• 联合定律：最优混合比例依赖计算预算，能捕捉规模与配比的交互效应

关键发现：

• 仅需 10-20 次小规模实验即可拟合可靠的缩放定律参数
• 跨规模外推误差普遍 < 2%
• 在 LLM（文本）、NMM（多模态）、LVM（视觉）三种场景中均有效
• 基于优化配比训练的 7B 模型，在 CORE 基准上 58 vs 基线 52，MMLU 上 37 vs 25

对实践的启示：数据配比不再需要靠直觉或大规模消融实验。用几十次小规模训练拟合配比 Scaling Laws，就能预测大规模训练的最优配比——这对于需要混合通用数据和领域数据的持续预训练场景尤其有价值。

---

七、超参数的 Scaling Laws：让整个训练过程可预测

10. Predictable Scale: Part I, Step Law (2025)

作者：Houyi Li, Wenzhen Zheng 等（阶跃星辰）

如果数据配比可以用 Scaling Laws 预测，那学习率和 batch size 呢？

这篇论文的实验规模令人惊叹：从头训练了 3,700+ 个 LLM，消耗近 100 万 H800 GPU 小时，累计训练超过 100T tokens。

核心发现：

• 最优学习率与模型大小 N 和数据量 D 呈幂律关系
• 最优 batch size 主要受 D 影响，对 N 基本不变
• Step Law 估算的最优超参数与穷举搜索的差距仅 0.094%
• 首次统一 Dense Transformer 和 MoE 两种架构
• 跨数据配方通用

对实践的启示：数据工程师选好了数据和配比之后，超参数的选择也不再需要猜。从数据量和模型规模直接推导最优学习率和 batch size——整个训练决策链条正在变得可预测。

---

八、可靠性危机：这些「定律」真的是定律吗？

11. (Mis)Fitting: A Survey of Scaling Laws (ICLR 2025)

作者：Margaret Li, Sneha Kudugunta, Luke Zettlemoyer

这篇综述审视了 50+ 篇 Scaling Laws 研究，结论令人清醒：

• 不同研究在关键问题上相互矛盾——最优 token/参数比，有的说 20:1，有的说 100:1，有的说取决于你怎么定义 loss
• 微小的实验细节变化就能导致截然不同的结论——是否计入 embedding 层的参数？用哪个 loss 计算方式？用什么优化器？
• 可复现性严重不足——绝大多数论文没有报告足够的细节来复现结果

Scaling Laws 研究中的分歧全景：

                  Kaplan     Chinchilla    Llama实践    Overtrain论文
最优token/参数比   ~25:1       ~20:1         ~100:1       ~200:1+
关键假设          参数更重要    参数=数据      推理成本主导   数据受限
数据处理          未控制       标准处理       多次过滤      质量优先
评估指标          loss        loss          下游任务      loss+下游

→ 不是谁对谁错，而是每个结论都依赖其特定的实验上下文

---

本期思考

回顾本期覆盖的 11 篇论文/报告，一个清晰的图景浮现了：Scaling Laws 正在从一条简单的幂律曲线，演变为一个多维度的决策框架。

2020 年的 Scaling Laws 告诉我们「堆就行了」。2026 年的 Scaling Laws 告诉我们：堆什么（数据质量 Q）、堆多少遍（重复训练 K）、给谁用（推理成本 I）、怎么混（域配比 h）、看什么指标（Error-Entropy vs cross-entropy vs 下游任务），每个维度都需要独立建模。

对数据工程从业者，我提炼三条可执行的建议：

第一，投资数据质量的 ROI 可以量化了。 Subramanyam 的质量参数 Q 提供了一个框架：如果你能估计清洗后数据质量提升多少，就能直接换算成等效的算力节省。在数据天花板逼近的时代，这比堆更多 GPU 更划算。

第二，不要用 loss 作为唯一的训练信号。 交叉熵分解告诉我们，loss 下降放缓可能不代表真实能力停滞。在关键检查点评估下游任务，同时监控 Error-Entropy 组分（如果工具支持），会给出更准确的训练进展估计。

第三，数据规划必须考虑全生命周期成本。 推理感知 Scaling Laws 意味着：模型越要大规模部署，数据工程团队就越需要准备更多高质量训练数据——因为最优策略是更小模型+更多训练。数据团队不再是「准备好数据交给训练团队」的上游角色，而是贯穿训练到部署的决策伙伴。

---

下期预告：预训练数据的安全前置防线——有害内容过滤、偏见缓解和隐私保护在预训练阶段的工程实践，以及「安全对齐」是否应该从数据阶段就开始。