质量感知缩放律 L(N,D,Q)：数据质量成为第一变量

在缩放律（Scaling Law）被提出后的最初几年里，它是一把只有两根刻度的尺子：模型参数量 $N$ 与训练数据量 $D$。这把尺子足以指导 GPT-4、Chinchilla、Llama 这一整代模型的算力分配，却回答不了一个数据工程师每天都在面对的问题——“把数据洗干净一点，到底值多少 token、多少参数、多少卡时？”

截至 2026 年的公开研究给出了初步答案。以 Subramanyam 等人在 ICLR 2026 发表的 Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining（arXiv:2510.03313）为代表的工作，把一个无量纲的数据质量参数 $Q$ 显式写进缩放律，得到三变量形式 $L(N, D, Q)$。这一步看似只是加了一个符号，实则改写了预训练数据工程的决策结构：质量从”玄学配比”变成了可以与参数量、数据量放在同一坐标系里做边际比较的一等变量。

本章将沿着”经典两变量 → 数据受限 → 质量入律 → 实证度量 → 工程决策”的脉络展开。读者应该带着一个贯穿全章的问题阅读：当预算固定时，下一块钱应该花在扩参数、堆 token，还是提质量？

---

2.1 经典缩放律回顾：Kaplan、Chinchilla 与参数-数据-算力三角

2.1.1 Kaplan 2020：缩放律的奠基

Kaplan 等人在 2020 年的 Scaling Laws for Neural Language Models（arXiv:2001.08361）首次系统性地证明：语言模型的交叉熵损失随参数量、数据量与训练算力的幂律下降，且在跨越七个数量级的范围内稳定成立。其两变量联合形式可写为：

$$L(N, D) = \left[ \left(\frac{N_c}{N}\right)^{\alpha_N/\alpha_D} + \frac{D_c}{D} \right]^{\alpha_D}$$

其中 $N$ 为非嵌入参数量，$D$ 为训练 token 数，$N_c$、$D_c$ 为临界规模常数，$\alpha_N \approx 0.076$、$\alpha_D \approx 0.095$（原文拟合值随 tokenizer 与设定略有差异）。

Kaplan 缩放律最重要的工程推论是计算最优（compute-optimal）分配：在训练算力预算 $C \approx 6ND$ 固定时，最优策略是让模型规模增长快于数据规模——具体地，$N_{\text{opt}} \propto C^{0.73}$、$D_{\text{opt}} \propto C^{0.27}$。这直接解释并指导了 GPT-3（175B 参数、300B token）那一代”大模型、相对少数据”的训练范式：175B 参数配上不到 2 倍于参数的 token 量，正是 Kaplan 律的经典产物。

引注：Kaplan, J., et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.

2.1.2 Chinchilla 2022：数据被重新定价

Hoffmann 等人在 2022 年的 Training Compute-Optimal Large Language Models（arXiv:2203.15556，即 “Chinchilla” 论文）用超过 400 次训练实验证明：Kaplan 律显著低估了数据的价值。Chinchilla 采用可分解的参数化形式：

$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$$

在固定数据集上拟合得到 $\alpha \approx 0.34$、$\beta \approx 0.28$、$E \approx 1.69$、$A \approx 406.4$、$B \approx 410.7$（数值随tokenizer与训练细节浮动，量级与结构稳定）。$E$ 是不可约损失（irreducible loss），即数据分布本身的熵——无论模型多大、数据多少，损失都不会低于这个下界。

对 $C \approx 6ND$ 做约束优化，最优分配为：

$$N_{\text{opt}}(C) = G \cdot C^{a}, \quad D_{\text{opt}}(C) = G^{-1} \cdot C^{b}, \quad a = \frac{\beta}{\alpha+\beta}, \quad b = \frac{\alpha}{\alpha+\beta}, \quad G = \left(\frac{\alpha A}{\beta B}\right)^{\frac{1}{\alpha+\beta}}$$

代入拟合值可得 $a \approx b \approx 0.5$：参数与数据应当等比例增长，最优 token/参数比约为 20:1。Chinchilla 模型本身（70B 参数、1.4T token）以约为 Gopher 四分之一的参数量反超后者，成为这一结论最有力的实证。

引注：Hoffmann, J., et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556, 2022（NeurIPS 2022）。

2.1.3 参数-数据-算力三角，以及 21 对 1 的悬案

Kaplan 与 Chinchilla 的差异可以用一张对照表看清：

维度	Kaplan 2020	Chinchilla/Hoffmann 2022
参数化形式	联合幂律（不可加分解）	可加分解 $E + A/N^\alpha + B/D^\beta$
$N_{\text{opt}}$ 对 $C$ 的弹性	$\approx 0.73$（偏大模型）	$\approx 0.50$（等比增长）
隐含最优 token/参数比	$\sim$ 每 100B 参数配 2–5B token（小）	$\sim$ 20 token/参数
代表模型	GPT-3	Chinchilla、Llama 系列
训练假设	较短 warmup、未充分调优的学习率	充分调优、大 batch、cosine 衰减到极小学习率

两代缩放律对 token/参数比的预测相差超过一个数量级（“21 对 1”之争）。截至 2026 年的公开研究（如 Porian 等人 2024 年的 Resolving Discrepancies in Compute-Optimal Scaling of Language Models，arXiv:2406.19146）表明，分歧主要来自实验设定而非数学形式：学习率调度、warmup 长度、batch size 的处理方式，以及——对本书最关键的一点——训练数据本身的质量与构成差异。Bi 等人 2024 年的工作进一步推测，Kaplan 与 Chinchilla 所用数据的差异是两者结论分化的重要原因之一。这条线索正是本章的主线：数据不再是缩放律的背景板，而是会改写律本身参数的变量。

另外一个常被忽略的细节值得强调：Chinchilla 律中的常数 $A$、$B$、$E$ 都是在某一特定数据集上拟合的。换一个数据集，这些常数就会变。换言之，“经典缩放律”从来都隐含着一个假设——数据质量与分布在整个比较中保持不变。一旦质量本身成为变量，这套两变量框架就必须被推广。

---

2.2 数据受限与重复缩放律：当 token 不够用时

2.2.1 数据墙：为什么”堆 token”有尽头

Chinchilla 律意味着模型越大，需要的 token 越多，且是线性地多。Epoch AI 的 Villalobos 等人（Will we Run out of Data? Limits of LLM Scaling Based on Human-Generated Data，arXiv:2211.04325，2022 年首发、2024 年大幅修订）估算了公开可用的高质量人类文本存量约在数百 token 万亿（数百 T）量级，并给出结论：按照当时的缩放趋势，高质量公开文本将在 2026–2032 年间被”用尽”，中位估计约 2028 年。请注意两点：其一，“用尽”指 Chinchilla 最优配比下的需求超越存量，而非互联网停止产生文本；其二，该估算存在较大不确定性（去重口径、多语言存量、低质量文本可提升空间都会移动时间线）。但方向性判断在 2026 年已成为行业共识——前沿实验室的数据管线已经从”抓更多”转向”造更好”（合成数据、重加权、多轮过滤）。

但「抓更多」这条路的产出结构也在变化（2026-10-08 补）：WildAI（arXiv:2609.40295，2026-09-30）实测，经 FineWeb 过滤后的网页 token 中 AI 生成占比为 2024-06 约 10% → 2025-06 约 16% → 2026-06 约 28% → 2026-08 约 31%。也就是说，数据墙讨论的「存量」口径不能只看 token 总数——人类生成 token 的存量增长，慢于总 token 存量的增长。这两条线（数据墙 + 野生 AI 占比上升）叠加，正是 §2.6 争议六「重复人类文本优先于扩张语料」的由来。

在这个背景下，一个直接的问题是：当唯一数据不够时，重复训练有用吗？

2.2.2 重复数据的早期观察：记忆与双下降

在系统研究出现之前，主流实践是单 epoch 训练——部分工作甚至明确建议避免数据复用。Hernandez 等人 2022 年的工作（On the Effect of Data Repetition on Language Model Scaling，arXiv:2205.10487）给出了第一个警示信号：他们构造了 90% 唯一数据 + 10% 高频重复数据的受控混合，发现测试损失随重复占比呈现双下降（double descent）现象——先变差再变好，且重复占比越高越明显。这暗示重复数据会把模型从”泛化学习”切换到”记忆”模式，使缩放律拟合变得不稳定，并可能损害分布外评估与下游微调。这一发现确立了”重复不是免费的”这一基调，但也留下了定量空白：重复的边际价值到底衰减多快？

2.2.3 Muennighoff 2023：数据受限缩放律

Muennighoff 等人的 Scaling Data-Constrained Language Models（arXiv:2305.16264，NeurIPS 2023 / JMLR）用约 400 次训练（10M–9B 参数、最高 900B token、最高约 1500 epoch）系统填补了这个空白。核心做法是把总 token 数 $D$ 分解为唯一 token 数 $U_D$ 与重复轮数 $R_D$（$D = U_D(1 + R_D)$，单 epoch 时 $R_D = 0$），并把 Chinchilla 形式中的 $D$ 替换为有效数据量 $D'$、$N$ 替换为 $N'$：

$$L(N, D) = E + \frac{A}{N'^{\alpha}} + \frac{B}{D'^{\beta}}$$ $$D' = U_D + U_D \cdot R_D^{*}\left(1 - e^{-R_D / R_D^{*}}\right), \qquad N' = U_N + U_N \cdot R_N^{*}\left(1 - e^{-R_N / R_N^{*}}\right)$$

其中 $U_N$ 是按 Chinchilla 律匹配 $U_D$ 的最优参数量，$R_N$ 度量”超额参数”，$R_D^{*}$ 是学出来的重复半衰常数。这个指数饱和形式有直观解释：每重复一轮，新信息的边际价值按指数衰减；当 $R_D \ll R_D^{*}$ 时重复近似等价于新数据，当 $R_D \gg R_D^{*}$ 时重复的价值趋于零，$D'$ 饱和于 $U_D(1 + R_D^{*})$——无论重复多少轮，都替代不了约 $R_D^{*}$ 个 epoch 的新数据。

关键实证结论：

1. 4 个 epoch 以内，重复几乎无损。 训练数据重复至多 4 轮，最终损失与使用等量唯一数据相比变化可忽略。这直接推翻了”绝对不要多 epoch”的教条——Galactica 训练 4.25 个 epoch 的做法事后看来恰好踩在安全区边缘。
2. 边际收益随后指数衰减，约 16 个 epoch 处减半。 拟合得到 $R_D^{*} \approx 15$：重复约 16 轮后，每轮新增 token 的价值衰减到约 $1/e$；继续堆重复 token 的算力回报趋向于零。
3. 数据受限下的最优策略是”训更小的模型、跑更多 epoch”。 与”假设 Chinchilla 律对重复数据仍成立”的朴素外推相反，数据受限的最优前沿偏向小模型多轮训练（这正是后来 Llama 3 等以约 15T token、多 epoch 训练 8B/70B 模型的理论依据之一）。
4. 代码数据比自然语言更耐重复；放松过滤（放回”低质量”数据）在极端受限时也可行。 这两条缓解手段的收益都不改变衰减的定性形状。

引注：Muennighoff, N., et al. Scaling Data-Constrained Language Models. arXiv:2305.16264, 2023（NeurIPS 2023；JMLR vol. 26）。模型与数据开源于 huggingface/datablations。

2.2.4 数据受限律的启示：质量视角的伏笔

Muennighoff 的工作表面上是关于”重复”的，但它对本书的主线有一个深层贡献：它证明了Chinchilla 形式中的 $D$ 可以被替换成一个”折扣后的有效量”而不破坏幂律结构。重复是一种最简单的”信息含量下降”——同一个 token 第二次出现时携带的新信息为零。沿着这个思路自然要问：如果”重复”可以让 $D$ 打折，那么”噪声”、“冗余”、“低质”是否也可以？这正是质量感知缩放律的出发点。

情形	有效数据量	折扣来源	关键常数
无限唯一数据（Chinchilla）	$D$	无	$\alpha \approx 0.34,\ \beta \approx 0.28$
重复数据（Muennighoff）	$D' = U_D + U_D R_D^*(1-e^{-R_D/R_D^*})$	重复轮数	$R_D^* \approx 15$
受污染/低质数据（Subramanyam）	$D \cdot Q^{\gamma/\beta}$	质量参数	$\gamma \approx 0.17\text{–}0.40$（见 2.3）

---

2.3 质量感知缩放律 L(N, D, Q)：质量成为一等公民

2.3.1 问题定义：把”质量”压缩成一个标量

数据质量在信息系统学科里是个多维概念——准确性、完整性、一致性、时效性、唯一性、有效性……把这些维度逐一直接塞进缩放律既不可解也不可估计。Subramanyam 等人（ICLR 2026，OpenReview: x54wwB6QvL；arXiv:2510.03313）的关键设计决策是放弃多维刻画，只要求质量参数满足两个弱条件：

1. 平滑退化：数据被污染时 $Q$ 平滑下降，而非跳变；
2. 可用信息代理：$Q$ 单调对应语料中”可用信息比例”的某个代理量。

由此引入一个无量纲标量 $Q \in (0, 1]$：$Q = 1$ 表示完全干净的理想语料，$Q$ 越小表示污染越重。这个抽象的代价是丢失了质量的语义细节，收益是可计算、可拟合、可与 $N$、$D$ 联合优化。

2.3.2 缩放律形式

质量感知缩放律在 Chinchilla 形式的数据项上乘一个质量折扣：

$$L(N, D, Q) = \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta} Q^{\gamma}} + E$$

三个性质值得逐条体会：

• 退化一致性：$Q = 1$ 时严格退化为 Chinchilla 律。质量感知律不是推翻经典律，而是把它推广为特例——这与相对论之于牛顿力学的关系类似，工程上意味着旧结论不会作废。
• 质量只进入数据项：$A/N^\alpha$（容量项）与 $E$（不可约损失）不含 $Q$。作者用受控实验验证了这一点：定义质量增量损失 $\Delta L(Q) = L(N,D,Q) - L(N,D,1) \approx B D^{-\beta}(Q^{-\gamma} - 1)$，在多个数据规模下，$\Delta L(Q)$ 对 $Q^{-\hat\gamma}-1$ 作图得到过原点的稳定直线，说明质量的影响确实可以被数据项的乘性修正吸收。
• 质量与数据的可交换性：$D^\beta Q^\gamma = (D \cdot Q^{\gamma/\beta})^\beta$。即该律等价于把 $D$ 个质量为 $Q$ 的样本视为 $D \cdot Q^{\gamma/\beta}$ 个干净样本——“有效样本量”视角的直接体现。

2.3.3 Q 的两个估计器

论文给出了两个可操作的 $Q$ 估计器，覆盖了”显式可测”与”隐式可分解”两类场景：

（1）污染率代理（corruption rate, CR）。若能估计语料中被污染 token 的比例（例如通过人工抽检或与参考语料比对），则：

$$Q = 1 - \mathrm{CR}$$

10% 的 token 被污染对应 $Q = 0.9$。这个估计器粗糙但几乎零成本，适合做管线健康度监控。

（2）亏缺度量（deficiency）。定义一个满足正性、连续性与可加性的亏缺量 $\Delta(\omega)$，并令 $Q = e^{-\Delta(\omega)}$。$\Delta$ 可分解为四类成分的加权和：

$$\Delta(\omega) = \mu_1 E_{\text{噪声}} + \mu_2 F_{\text{覆盖/多样性}} + \mu_3 G_{\text{冗余}} + \mu_4 H_{\text{合成数据}}$$

这个分解的漂亮之处在于向后兼容：选取特定的成分形式，可以重新推导出文献中多个质量相关的缩放律——例如基于聚类密度的（Chen 等）、基于压缩率-多样性-合成比的（Chang 等）、重复 epoch 边际递减的（Goyal 等）。换言之，$Q$ 是一个统一容器，此前的质量工作都是它的特例。

2.3.4 理论推导：为什么是乘性 $Q^\gamma$

这条律并非纯经验拟合。作者从两条相互独立的经典路径论证了乘性形式：

路径一：有效样本量（Fisher 信息 / PAC 视角）。假设存在单调连接函数 $g:[0,1]\to\mathbb{R}^+$（$g(1)=1$），使得 $L_N(D, Q) \approx B / (D \cdot g(Q))^\beta$——”$D$ 个脏样本 $\approx D \cdot g(Q)$ 个干净样本”。两条经典结果为 $g(Q) \approx Q^\gamma$ 的幂形式提供了锚点：

• 加性高斯噪声回归中，单观测的 Fisher 信息正比于 $1/\sigma^2$，总信息量 $I_D \propto D/\sigma^2$。定义 $\Delta = \ln(\sigma^2/\sigma_0^2)$，则 $Q = \sigma_0^2/\sigma^2$ 给出 $D_{\text{eff}} = D \cdot Q$，即 $\gamma = 1$——这正是经典的 ”$D \times$ SNR” 缩放。
• 对称标签翻转噪声（翻转率 $\eta$）下，修正损失的方差按 $(1-2\eta)^{-2}$ 放大，有效样本量缩水为 $D(2Q-1)^2$；在高质量区间 $Q \in (1/2, 1]$ 内局部近似为 $\gamma \approx 2$ 的幂。

路径二：信息论（信道互信息视角）。把脏 token $\tilde{X}$ 视为干净 token $X$ 经过一个记忆less信道 $\mathcal{C}_Q$ 的输出，假设污染导致可用互信息乘性衰减：$I(\tilde{X}; Z) = \rho(Q) I(X; Z)$，其中 $\rho(1)=1$ 且在 $Q \to 1$ 附近 $\rho(Q) \approx c Q^\gamma$。结合信息论泛化界 $L_D \propto 1/(D \cdot I(\tilde X; Z))^\beta$，整理常数即得 $L \approx A/N^\alpha + B/(D^\beta Q^\gamma) + E$。二进制对称信道给出 $\gamma \approx 2$，高斯信道给出 $\gamma \approx 1$。

两条路径从不同假设出发收敛到同一乘性形式，且理论预期 $\gamma \in [1, 2]$。而实验测得的 $\gamma$ 显著小于 1——这个”理论与实测的裂口”本身是该工作最有信息量的发现，下一小节展开。

2.3.5 关键实验结论：亚线性衰减与鲁棒性指数

实验在两个任务上做受控噪声注入（NMT：英德翻译，Paracrawl；CLM：C4 上的因果语言建模），每个任务 3 个数据规模 × 7 个质量等级（噪声样本比例 $\eta \in \{0, 10\%, 20\%, 25\%, 30\%, 40\%, 50\%\}$，对应 $Q \in \{1.0, 0.9, 0.8, 0.75, 0.7, 0.6, 0.5\}$）× 3 个随机种子，共 63 组训练。拟合结果：

任务	拟合方法	$B$	$\hat\beta$	$\hat\gamma$	$E$
NMT	最小二乘	166.57	0.263	0.185	0.147
NMT	Huber	139.60	0.250	0.173	0.067
CLM	最小二乘	1428.23	0.395	0.389	3.440
CLM	Huber	1441.51	0.396	0.401	3.439

三个核心结论：

1. 有效数据随质量亚线性衰减（$\hat\gamma < 1$）。理论（PAC/Fisher/信息论）预测 $\gamma \ge 1$，但实测 NMT 约 0.17、CLM 约 0.40。也就是说，模型对中度污染比理论预测的更鲁棒：自然语言有大量冗余（句法、对齐、共现），部分被污染的样本仍然携带可学习的上下文信息，损失随质量下降的增长慢于线性。这为”不太干净的数据也有价值”提供了第一个定量依据——对数据工程而言，这意味着不必为了最后 10% 的洁净度烧掉整条管线的预算。
2. $\gamma$ 是任务相关的”鲁棒性指数”。CLM 的 $\gamma \approx 0.40$ 显著大于 NMT 的 $\gamma \approx 0.17$：自回归语言建模中 token 替换破坏局部依赖、推高熵，伤害更大；而 NMT 即便一半 token 被污染，跨序列的对齐与上下文仍泄漏足够信息。$\gamma$ 越小越耐噪——这个指数原则上可以迁移到任何”清洗是否值得”的评估场景。
3. 外样本（out-of-sample）验证成立。在未见过的评估数据上重新拟合，$\hat\beta$、$\hat\gamma$ 与分布内拟合高度接近（如 CLM 的 $\gamma$ 从 0.39 到 0.33–0.34），说明律的形式具有外推能力，而非对训练评估集的过拟合。

2.3.6 质量如何改写最优配比：与 Chinchilla 的三点差异

差异一：质量与数据的等价兑换率。 固定数据项损失 $B/(D^\beta Q^\gamma)$，可得等损失条件下 $D \propto Q^{-\gamma/\beta}$。以 CLM 拟合值（$\gamma \approx 0.40$、$\beta \approx 0.40$，$\gamma/\beta \approx 1.0$）为例：质量从 $Q=0.9$ 提升到 $Q=1.0$，等价于 token 量增加约 $11\%$；从 $Q=0.7$ 到 $1.0$ 等价于约 $43\%$。注意这是同分布污染口径下的兑换率——它看起来温和，与 FineWeb-Edu 那种”10 倍等效 token”的实证（见 2.4）并不矛盾，因为真实过滤同时改变了分布构成，而不只是降低了噪声率。这个区分是理解本章争议（2.6 节）的钥匙。

跨章口径指针（2026-09-18 补）：本书第 1 章 §1.3 的兑换率要点与 §1.3.4 的 $D^*$ 表达式，一律以本节公式 $D \propto Q^{-\gamma/\beta}$ 与差异二中的 $D^* \propto C^{1/2} Q^{-\gamma/2\beta}$ 为准。第 1 章对应表述此前存在指数方向倒置（写成 $\beta/\gamma$）与固定指数（写成 $Q^{0.7}$）两处偏差，已在同批修订中更正。

差异二：质量改变计算最优配比。 把 $D^\beta Q^\gamma$ 写成 $(D Q^{\gamma/\beta})^\beta$ 后，质量感知律在变量 $(N,\ \tilde D = D Q^{\gamma/\beta})$ 下就是标准 Chinchilla 律，只是真实算力预算 $C = 6ND$ 变成了质量调整后的有效算力 $\tilde C = C \cdot Q^{\gamma/\beta}$。沿用 Chinchilla 的最优分配公式可得：

$$N^*(Q) \propto C^{1/2}\, Q^{\gamma/2\beta}, \qquad D^*(Q) \propto C^{1/2}\, Q^{-\gamma/2\beta}, \qquad \frac{D^*}{N^*} \propto Q^{-\gamma/\beta}$$

直觉结论：质量越高，最优策略越偏向”小数据-大模型”的稠密配置（token/参数比下降）；质量越低，越应该”摊薄”——用更多（较脏的）token 配较小的模型。这与 QualityPajama 在真实数据上观测到的”计算最优 token/参数比随干预跨数量级波动”（见 2.4.3）定性一致。

⚠️ 证据强度标注（2026-10-08 补）：本节的配比结论来自律的形式推导，而非实验。ICLR 2026 的公开评审意见明确指出——「the experimental setup doesn’t consider scaling the N value (model parameters); the paper works with a fixed model size … Yet the paper makes claims about ‘smaller models and less compute is needed to achieve strong results’」。也就是说，$L(N,D,Q)$ 名义上的三个变量里，$N$ 这一维在实验中并未被扫描（NMT 实验用 133M 参数模型，CLM 实验用一个未报告参数量的 8 层 Llama-3 变体）。

因此本节的「质量越高越偏向小数据-大模型」是理论推论；§2.4.3 QualityPajama 的「最优 token/参数比跨数量级波动」则是 2000+ 次训练（100M–8B）的实测。两者定性一致，但证据强度不同级——引用本节配比结论时应标注「推导所得，实验未覆盖 N 维」，不要与实测结论并列使用。

同一批评审还提出两条与本章直接相关的质疑：①「It is unclear how to estimate Q in practical settings for new datasets with multiple noise sources」——即在多噪声源的真实数据集上如何估计 $Q$ 并不清楚；② 注入噪声的方式”unnatural”，更自然的做法是用低质网页文档替换一定比例的文档；合成噪声”may not capture the highly complex and heavy-tailed distribution of low-quality data in real training datasets”。

来源纪律：ICLR 2026 Poster 收录状态经官方页面 iclr.cc/virtual/2026/poster/10006678 一手确认；上引评审文字来自第三方对 OpenReview 的转载，本轮未能直连 OpenReview API 取得原始 review（API 返回 challenge 校验），引用时请视为二手。

差异三：最优解的存在性条件。 Chinchilla 律下，给定算力总存在有限最优配比；质量感知律则揭示了一个边界情形——当 $Q \to 0$，数据项趋向无穷，任何数据量都无法补偿，此时唯一理性的动作是先投资质量本身。质量不再是配比的调节项，而是配比有意义的前提。

引注：Subramanyam, A., Chen, Y., Grossman, R. L. Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining. ICLR 2026 Poster（iclr.cc/virtual/2026/poster/10006678；OpenReview: x54wwB6QvL；arXiv:2510.03313）。

版本（2026-10-08 补）：该文 arXiv 上有两版——v1 2025-09-30（1,724 KB）、v2 2026-02-23（2,169 KB），v2 篇幅较 v1 显著增加（约 26%，这是体积比，不是内容变更量的度量）。本章 §2.3.5 拟合数值表取自哪一版本尚未逐条比对确认，读者引用 $B,\hat\beta,\hat\gamma,E$ 等拟合值时请先回原论文核版。

---

2.4 质量的实证度量：等效 token 增益的三组证据

理论律的价值最终要用真实数据管线的实证来校验。本节讨论三组互补的证据：FineWeb-Edu 给出”过滤的等效 token 增益”，DCLM 给出”数据质量替代算力”的严格对照实验，QualityPajama 给出”干预如何改写缩放律参数本身”。最后讨论数据混合缩放律，它处理的是质量的一个特殊维度——构成。

2.4.1 FineWeb-Edu：教育性过滤与”10 倍 token”的由来

FineWeb（arXiv:2406.17557，NeurIPS 2024 Datasets & Benchmarks）从 96 个 Common Crawl 快照构建了 15T token 的数据集，其方法论核心是把数据管线本身当作实验科学：每个管线步骤都用 1.8B 参数、约 350B token 的对照训练来消融验证。在此基础上，FineWeb-Edu 用两阶段方案做质量过滤：

1. 用 Llama-3-70B-Instruct 对 46 万个网页打 0–5 分的”教育价值”分（提示词锚定中小学知识点以避免偏向 arXiv 摘要类技术文本）；
2. 在 Snowflake-arctic-embed 嵌入上训练线性回归分类器（验证集 F1 = 82%），对 15T 全量打分，保留分数 ≥ 3 的文档，得到 1.3T token 的 FineWeb-Edu（约占母集 8.7%；另有阈值更松、保留更多的 score-2 变体）。全量打分耗资约 6000 H100 卡时。

关键对照结果（1.8B 模型、约 350B token 训练）：

指标	FineWeb	FineWeb-Edu	相对变化
MMLU	~33%	~37%	+12%（相对）
ARC	~46%	~57%	+24%（相对）
达到 33.6% MMLU 所需 token	—	38B	次优数据集（Matrix）需 ~300B，约 10× 差距

“FineWeb-Edu 用 10 倍少的 token 达到同等 MMLU”由此成为质量过滤收益的标志性数字。但严谨的读者应当注意口径（这也是很多二手传播丢失的信息）：

• 10× 是”等效 token 增益”而非”等效算力增益”。它指在知识密集型基准上达到同一水平所需的 token 量之比；
• 收益是基准偏斜的：教育性过滤提升了 MMLU/ARC/OpenBookQA 这类知识推理基准，但对 HellaSwag 等 commonsense 基准的收益小得多，甚至可能因为语料覆盖面收窄而在部分能力上倒退；
• 8.7% 的留存率意味着 91.3% 的 token 被丢弃。基准收益里有多少来自”质量提升”、多少来自”主题再分布”（教育、历史类内容被上调，商业、娱乐、地产类被下调），没有进一步的混合消融无法严格区分。FineWeb 团队自己也报告了这种主题偏移。
• 不同来源报告的 MMLU 绝对值差异可达 24.5%–37%，主要来自训练 token 预算（28B / 350B）与评估设定的不同，而非数据集本身的差别。本书统一采用 FineWeb 官方口径：过滤阈值 ≥3（官方附录 E.2 明确 “a threshold of 3 yields the best average performance”）、1.82B 模型、MMLU 33.6% 于 38B token 处达到。第 1 章 §1.6.1 原表给出的 24.5 / 28.5 与阈值 ≥4 均在同批修订中按官方口径更正，引用时请连同口径三要素一并给出。

换句话说，FineWeb-Edu 证明的是“教育性过滤在知识基准上具有巨大的等效 token 增益”，而不是”质量参数 $Q$ 被提升了若干”——后者的因果解释比headline数字要保守得多。

引注：Penedo, G., et al. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale. arXiv:2406.17557, 2024（NeurIPS 2024）。

2.4.2 DCLM：受控实验范式与”质量替代算力”

DataComp-LM（arXiv:2406.11794，NeurIPS 2024）与 FineWeb 的”发布一个更好的数据集”不同，它的目标是把数据策展变成可复现的实验科学。其贡献是一个标准化试验场：

• DCLM-POOL：240T token 的原始 Common Crawl 语料池（2013–2022），公开可下载；
• 标准化训练配方（OpenLM 框架）与 53 个下游任务的固定评估套件；
• 五个参赛尺度（412M–7B 参数），数据是唯一变量——架构、超参、算力全部对齐。

DCLM 的基线发现是：基于模型的过滤（model-based filtering）是拼出高质量训练集的关键，而且胜出的不是最重的方案——一个以高质量参考语料（如精选网络文本与指令数据）为正例训练的 fastText 分类器，把 240T 池过滤到 3.8T 的 DCLM-BASELINE，效果优于更复杂的 LLM 打分方案。DCLM 还报告了一个”人类判断脱节”现象：人工觉得”好”的文本，与模型预训练真正受益的语言模式并不一致。

算力对齐下的旗舰结果：用 DCLM-BASELINE 训练的 7B 模型（2.6T token）达到 63–64% 的 5-shot MMLU——与 Mistral-7B-v0.3、Llama 3 8B 处于同一水平，而训练算力约为 Llama 3 8B 的 1/6.6；相比此前开源数据的最佳水平（MAP-Neo），MMLU 高出约 6.6 个百分点，训练算力省 40%。这是”数据质量可以硬替代算力”的最干净的公开对照证据——因为在 DCLM 的设计里，除了数据，其他一切都被固定了。

DCLM 还验证了小尺度结论的可迁移性：在 412M 尺度上有效的数据策略，几乎总能迁移到 7B。这正是整个”用小模型代理大模型做数据实验”方法论的合法性基础。

引注：Li, J., et al. DataComp-LM: In Search of the Next Generation of Training Sets for Language Models. arXiv:2406.11794, 2024（NeurIPS 2024）。

2.4.3 QualityPajama：干预如何改写缩放律本身

Ardalani 等人的 How Text Quality Interventions Reshape Neural Scaling Laws for LLMs（ICLR 2026，OpenReview: ZC5QBfdOw7）是迄今最大规模的”质量×缩放律”交叉实验：从 Common Crawl 派生出 23 个干预数据集（QualityPajama 套件，覆盖启发式过滤、去重、PageRank 过滤、Mistral-7B 改写为高质量文章/问答/教科书等三类干预），每个数据集训练 100+ 个模型（100M–8B 参数、100M–200B token），总计 2000+ 次训练，对每个数据集联合拟合缩放律的全部五个参数 $\alpha, \beta, A, B, E$。

核心发现构成了对 $L(N,D,Q)$ 框架最重要的实证校准：

1. 数据干预同时移动系数与指数。已有研究表明架构变化主要移动系数（曲线平移）；而 QualityPajama 证明数据干预连指数一起改——它改变的是模型改进的速率，不只是起点。这是”质量作为一等变量”最直接的证据：质量不是给 $D$ 打个折扣就能完全吸收的。
2. 计算最优 token/参数比随干预跨数量级波动。不同干预下拟合出的最优配比相差可达两个数量级（对比 Chinchilla 的普适 ~20:1；第 1 章 §1.3 记为约 182 倍，指同一实验，量级表述一致）。高质量的改写数据支持”更小模型、更长训练”的稠密配置——与 2.3.6 的理论推论定性一致。
3. 去重是算力乘数。精确去重只移除了约 17% 的数据量，却带来约 100× 的等效算力效率（达到同等损失所需算力之比）；更激进的模糊去重（阈值 0.7）可达约 300×。去重的收益远超”少训 17% token”的朴素账目——这与 2.2 节的重复缩放律形成呼应：重复的负外部性在缩放律口径下被严重低估了。
4. 质量排名是尺度依赖的（“交叉效应”）：100M 尺度上最优的过滤策略，到 8B 可能被另一种策略大幅反超。盲目信任小规模代理实验选出的数据策略，有在放大规模时翻车的风险——这对”小模型选数据”的方法论（DoReMi、RegMix、DCLM 的小尺度赛道）提出了明确的警示边界。
5. 拟合方法学陷阱”E 塌缩”（E-collapse）：当训练与评估数据分布不一致时，标准缩放律拟合会失效（$E$ 趋于异常）。作者为此引入基于熵正则的稳定拟合方案。这提醒所有想自己拟合质量感知缩放律的团队：分布对齐的评估集是拟合合法性的前提。

引注：Ardalani, N., et al. How Text Quality Interventions Reshape Neural Scaling Laws for LLMs: Empirical Study. ICLR 2026（OpenReview: ZC5QBfdOw7）。

2.4.4 等效 token 增益的三种口径

综合以上实证，“质量值多少 token”其实有三种不可混用的口径，本书后续章节凡引用”等效增益”都必须注明口径：

口径	定义	典型数字（截至 2026 年公开研究）	混淆风险
等损失 token 比（iso-loss）	达到同一验证损失所需 token 之比	去重场景可达 100–300×（QualityPajama）	验证损失对分布敏感，未必对应下游能力
等基准 token 比（iso-benchmark）	达到同一下游基准分数所需 token 之比	FineWeb-Edu 在 MMLU 上 ~10×	基准偏斜：教育过滤器天然利好奇知识型基准
等算力模型比（iso-compute）	同等训练算力下达到同等下游水平	DCLM-7B vs Llama 3 8B ≈ 6.6× 算力节省	混入架构/超参/后训练差异时不可比

三组数字（100×、10×、6.6×）经常被混引为同一个”质量增益”，实际衡量的是不同对象。数据团队对外汇报与对内决策时，明确口径是基本工程纪律。

2.4.5 数据混合缩放律：DoReMi 与 RegMix

质量的另一个可操作维度是构成（mixture）——各数据域（网页、百科、代码、书籍、论文……）的采样比例。这个方向的方法学主线是”用小模型搜索配比，再放大到大模型”：

DoReMi（Xie 等人，arXiv:2305.10429，NeurIPS 2023）用 Group DRO（分布鲁棒优化）在 280M 代理模型上动态调整域权重：先训一个参考模型建立各域的基线损失，再用极小极大目标（最小化最差域的超额损失）训同尺寸代理模型，

$$\min_\theta \max_{\alpha \in \Delta_k} \sum_{i=1}^{k} \alpha_i \cdot \frac{1}{|D_i|}\sum_{x \in D_i}\left[\ell_\theta(x) - \ell_{\text{ref}}(x)\right]$$

对域权重 $\alpha$ 做指数梯度上升、对参数 $\theta$ 做梯度下降，取训练轨迹上的时间平均权重，重采样后训练 8B 模型。结果：在 The Pile 上，下游平均准确率较默认人工配比 +6.5 个百分点，达到基线最终准确率所需训练步数减少 2.6×；配比搜索的额外算力仅约占 8B 主训练的 8%。DoReMi 的意义在于把”配比”从人工直觉变成了一个无需下游标签的优化问题。

RegMix（Liu 等人，arXiv:2407.01492，ICLR 2025）把配比搜索进一步改造成回归问题：用狄利克雷分布随机采样配比，训练 512 个 1M 参数的微型模型（各 1B token），把”配比 → 验证损失”当作回归数据拟合 LightGBM，在配比空间里预测最优解，再用最优配比训练大模型。其合法性建立在秩不变假设（rank invariance）上——配比之间的相对排名在模型规模与 token 数变化时保持稳定（用 Spearman 秩相关验证）。结果：用预测配比训练的 1B 模型在 64 个候选配比中最优；推到 7B/100B token 仍稳定超过人工配比（Pile 基线平均高约 2 个点），且仅用 DoReMi 约 10% 的算力达到相当或更好的效果。RegMix 还报告了两个对质量观有冲击力的发现：单任务性能随配比的波动可达 14.6 个百分点（配比选错的代价极高）；以及与直觉相反，网页语料而非”公认高质量”的维基百科与下游性能的正相关最强——再一次说明”质量”并非单一维度，维度的相对重要性取决于目标。

与 RegMix 同期的 Data Mixing Laws（Ye 等人，arXiv:2403.16952）则直接对各域混合比显式拟合缩放律，可从域级损失预测混合后的损失，属于把混合问题纳入缩放律框架的另一条路线。

小结：混合缩放律处理的是”给定候选池，怎么配”；质量感知缩放律处理的是”给定配比，每个来源本身值多少”。两者正交且互补——完整的预训练数据决策需要同时回答这两个问题。

---

2.5 工程启示：从”堆 token”到质量-数量联合优化

2.5.1 决策框架：三变量边际比较

把 2.1–2.4 的结论折叠成一句话：在预算固定时，应把”参数、token、质量”当作三个可兑换的货币，按边际回报分配。 具体决策框架分三层：

第一层：等损失面约束。 由 $L(N,D,Q) = A/N^\alpha + B/(D^\beta Q^\gamma) + E$，损失只依赖组合 $(N,\ D Q^{\gamma/\beta})$。质量、数量在数据项内可兑换（兑换率 $D \propto Q^{-\gamma/\beta}$），参数与有效数据在整体上可兑换（沿 Chinchilla 的等损失曲线）。先问：我的瓶颈在容量项（模型太小）还是数据项（有效数据不够）？

第二层：预算与供给约束。 质量提升不是免费的——过滤有丢弃率（FineWeb-Edu 丢弃 91.3%），清洗有算力与人力成本（15T 全量打分耗 6000 H100 卡时），高质量语料有供给上限（这正是数据墙的本质）。设质量投资的成本曲线 $c(Q)$ 与数据获取的成本曲线 $b(D)$，则联合优化为：

$$\min_{N, D, Q} L(N, D, Q) \quad \text{s.t.} \quad 6ND + c(Q) + b(D) \le C_{\text{total}}$$

绝大多数实践的次优，源于只优化了 $6ND$ 这一项而把 $c(Q)$、$b(D)$ 当作外生常数。

第三层：风险约束。 至少三类风险会压低质量投资的账面回报：(a) 基准偏斜——过滤器向知识型基准对齐，可能牺牲其他能力（FineWeb-Edu 对 HellaSwag 收益甚微）；(b) 覆盖面坍缩——高阈值过滤的主题再分布是真实代价；(c) 尺度依赖——小尺度选出的策略放大后可能失效（QualityPajama 的交叉效应）。

2.5.2 质量投资的边际回报：何时清洗划算

结合 $\gamma$ 的实测值（CLM ≈ 0.40）可以算一笔”污染经济学”的账。设当前语料污染率 20%（$Q=0.8$）。把污染率清到 10%（$Q=0.9$），等效 token 增益为：

$$\frac{D_2}{D_1}\Big|_{\text{iso-loss}} = \left(\frac{Q_1}{Q_2}\right)^{\gamma/\beta} = \left(\frac{0.8}{0.9}\right)^{1.0} \approx 0.89 \quad \Rightarrow \quad \text{约 } 12\% \text{ 等效 token 增益}$$

这是一个温和的数字——同分布口径下，单纯降噪声的回报是线性的、不爆炸的。但如果清洗的对象是冗余（去重），回报可以是数量级级别的（QualityPajama：17% 体积削减 → 100× 等效算力）。由此得到一个违反直觉但证据扎实的优先级：

质量投资的优先级（按边际等效算力回报降序）：去重 ≫ 分布构成修正（混合比、来源再平衡）> 针对性过滤（面向目标能力）> 逐 token 去噪。

注意这个排序与业界”质量 = 过滤器分数”的惯常想象差别很大：缩放律口径下，冗余与构成对有效数据量的杠杆远大于”脏 token 比例”。这与 Muennighoff 的重复律（重复价值指数衰减）和 RegMix 的发现（配比波动可达 14.6 个点）在逻辑上完全自洽。

2.5.3 不同预算下的质量投资建议

下表把本章结论落成可操作的决策参考（适用于以通用或领域预训练为目标的团队；数字与结论均以截至 2026-08（本章写作时点）的公开研究为依据，实际执行前应做小规模校准实验）：

快照声明与迁移性限定（2026-09-18 补）：表中 $\gamma$、$\beta$ 的取值来自亿级参数、百亿级 token 规模上的合成噪声实验（见 §2.6 争议二），在自有多语种管线上的迁移性未经验证；用于真实预算决策前，应在自身规模与自身脏数据类型上重新拟合。这条限定与 §2.6 的争议一致，此处前置是因为决策表是读者最可能直接照抄的位置。

另一条简化（2026-10-08 补）：本决策表把 $Q$ 当作可直接输入的参数，这是简化而非已验证能力。ICLR 2026 的评审意见明确指出，在多噪声源的新数据集上如何估计 $Q$「is unclear in practical settings」。本节表格的正确用法是先用自己的管线估出 $Q$ 并验证估计稳定，再读表；把 $Q$ 当已知常数代入，会把估计误差直接放大成配比误差。

预算/情境	特征	质量投资重点	具体建议	主要依据
小预算（$\lesssim 10^{22}$ FLOP，学术/验证级）	训练短、迭代快	建立度量，不追洁净度	优先做模糊去重与混合比搜索（RegMix 式微型模型扫描，512×1M 量级）；用 4 epoch 以内的多轮训练缓解数据不足	Muennighoff（4 epoch 无损、小模型多轮更优）；RegMix（10% DoReMi 算力）
中预算（$10^{22}$–$10^{24}$ FLOP，区域/领域模型）	数据受限常见	构成与来源质量	用 DCLM 范式（固定配方 + 多尺度赛道）做数据消融；fastText 类轻量模型过滤优先于重型 LLM 打分；混合比用 DoReMi/RegMix 自动化	DCLM（模型过滤是关键、小尺度结论可迁移）；DoReMi（+6.5 点、2.6× 步数）
大预算（$\gtrsim 10^{24}$ FLOP，前沿级）	单次实验昂贵	质量的尺度稳定性	拟合自身管线的 $L(N,D,Q)$（注意 E 塌缩，评估集须与训练分布对齐）；对候选数据策略做缩放律外推而非只看小模型终分；预留合成数据配比并跟踪其对 $\gamma$ 的影响	QualityPajama（排名尺度依赖、指数可移动）；Subramanyam（律的外推性）
极端数据受限（小语种/专业领域）	唯一数据远低于 Chinchilla 最优	榨干每个唯一 token	先去重到边际收益消失；接受 ≤4 epoch 重复；补充相邻分布数据（代码对重复的耐受更高）；按 $D^*(Q) \propto Q^{-\gamma/2\beta}$ 重新求解更小的最优模型	Muennighoff（代码更耐重复、小模型多轮）；Subramanyam（质量-配比联动）
质量提升边际递减区（已重度清洗）	污染率 < 5%	停止过度清洗	同分布口径下最后几个点的洁净度只值 ~几 percent 等效 token；把预算转向覆盖面与混合；警惕高阈值过滤的分布坍缩	Subramanyam（$\gamma<1$ 亚线性）；FineWeb-Edu（91.3% 丢弃率的主题偏移）

2.5.4 与数据管线的衔接

把本章结论映射到后续章节将要展开的管线环节（此处给出接口，细节见数据获取、清洗、混合各章）：

1. 采集：供给决定 $b(D)$ 的形状；多源冗余采集的成本要与”同分布质量提升”的等效增益比较，而不是与原始 token 数比较。
2. 去重：位置应尽量靠前——它同时改善 $Q$（冗余项）与节省后续过滤算力；QualityPajama 的口径下它是回报最高的单项投资。
3. 过滤：过滤器应声明其目标口径（iso-loss / iso-benchmark / iso-compute 中的哪一种）；阈值选择应做小尺度消融并验证秩在两个尺度间稳定后再放大。
4. 混合：混合搜索（DoReMi/RegMix 类）与质量过滤应联合迭代——过滤改变候选池的构成，进而改变最优混合比。
5. 评估：为缩放律拟合维护一个与训练分布对齐的 held-out 集（防 E 塌缩）；下游基准只做参考口径，不做唯一优化目标。 （2026-10-08 升级）光「分布对齐」不够，还要按来源分轨报告。 WildAI（arXiv:2609.40295，2026-09-30）实测：在 22.3% 的 AI 文本占比下，混合验证集会在 95.5% 的有害运行里把损害隐藏掉，作者因此建议分别报告人类文本与 AI 文本的验证 loss。本节原先说的「E 塌缩」是训练/评估分布不一致导致的拟合失效；这一条是评估集内部构成导致的掩盖——两者机理不同，都要防。判据：凡语料里存在多个来源类别且各类别对目标的作用可能反向，验证 loss 必须按类别分轨报告，不能只报混合值。

---

2.6 争议与开放问题

质量感知缩放律在 2026 年仍是一个快速演化的方向。以下七个问题没有定论（争议七为 2026-10-08 新增），读者在引用本章结论时应保持相应的审慎。

争议一：质量的标量化是否损失了本质？ $Q \in (0,1]$ 把多维质量压成一个标量，其合法性建立在”平滑退化 + 可用信息代理”两个弱条件上。但 QualityPajama 的证据表明，数据干预会同时移动系数与指数——如果质量只通过乘性 $Q^\gamma$ 折扣数据项，指数 $\alpha$、$\beta$ 不应随之改变。一个自然的调和假说是：$L(N,D,Q)$ 刻画的是同分布的噪声型质量，而真实过滤改变的是分布本身（多样性、覆盖面、构成），后者落在标量 $Q$ 的表达能力之外。截至 2026 年，如何把”分布型质量”也纳入可预测的框架——例如用亏缺分解中的多样性项 $F$，或发展非标量的质量向量——是开放问题。

争议二：合成噪声结论能否外推到真实噪声？ Subramanyam 的受控实验用 token 替换/pad 注入控制 $Q$，并用嵌入相似度单调下降佐证其代理有效性。但真实网络语料的”低质”是语义级的：事实错误、模板化生成文本、AI 生成的内容农场、领域漂移、低质转写——这些与 i.i.d. token 噪声的信息论性质可能截然不同。$\hat\gamma < 1$ 的”亚线性鲁棒性”结论在真实脏数据上是否成立、成立时 $\gamma$ 取值多少，尚缺大规模验证。

争议三：$\gamma$ 的稳定性与可迁移性。 已测得的 $\gamma$ 在 NMT 与 CLM 之间差一倍多（0.17 vs 0.40），且实验规模限于约亿级参数、百亿级 token 的合成设定。$\gamma$ 是否随规模、架构、tokenizer、后训练管线稳定？目前没有证据支持跨场景直接搬运。任何团队在用 $L(N,D,Q)$ 做外推决策前，都应在自己的管线与规模上重拟合（并按 QualityPajama 的教训处理 E 塌缩）。

这条建议不只是谨慎，它有结构性理由（2026-10-08 补）。 arXiv:2609.32288（A Solvable Theory of Pre-training Data Poisoning: Regime-Dependent Scaling Exponents，2026-09-26）在 OLMo 式受控预训练中观测到：中毒模型与干净模型（架构、token 预算、优化调度全部对齐）的相对干净验证困惑度增量 $\Delta$ 很好地拟合为非整数指数的幂律 $\Delta \approx C\varepsilon^a$。该文先证明一个解析性障碍——只要被污染目标在干净最优点附近解析依赖于投毒率 $\varepsilon$，$\Delta$ 一般就是二次的（$a=2$）；因此非整数指数本身就是「存在真正奇异结构」的签名。随后在可解模型（截断岭回归 + 重尾协变量，由 $q_\star$ 控制，标签偏移型投毒）中给出该结构，核心结论是超额风险的指数依赖于取极限的顺序：高维比例区间下为 $\varepsilon^{q_\star/(q_\star+2)}$，先取充足数据极限则得 $\varepsilon^{2-2/q_\star}$，两个极限不可交换。

对本节的直接含义：即便在一个完全可解的玩具模型里，「在某个 regime 测出的指数」也不能搬到另一个 regime。所以「$\gamma$ 不能跨场景搬运」不是「证据不足」，而是这类量在数学上就可能是 regime-dependent 的。

限定：该文为 2026-09 预印本、未见同行评议，结论为理论加数值模拟；与 LLM 的衔接（有限训练时间在局部预训练中扮演「对曲率谱做截断」的角色）是作者自述的 modeling hypothesis，不是实测。本书未读正文推导，正文也不得据此给出「指数等于多少」的具体数值。

争议四：质量的定义存在循环风险。 “高质量”的裁判——无论是 Llama-3 打分（FineWeb-Edu）、参考语料分类器（DCLM）还是下游基准——本身都是某个模型的函数。用模型 A 定义质量、训练模型 B、再用模型 A 时代基准评估 B，存在自我强化的闭环风险（educational filter 向 MMLU 类基准对齐即是实例）。更根本的追问：面向 2030 年代的能力，今天的”质量”定义是否会系统性排除模型真正需要学习的分布？

争议五：合成数据是解药还是延迟的毒药？ 数据墙（中位估计 2028）把行业推向合成数据，$Q$ 的亏缺分解也为其预留了 $H$ 项。但合成数据对缩放律的影响是双刃的：一方面，知识蒸馏式的合成语料（教科书化改写、指令化重写）在 QualityPajama 中表现出色；另一方面，模型自生成数据的反复训练存在分布坍缩（model collapse）的长期风险，且合成比例的提升会以复杂方式改变 $Q$ 与最优配比。“合成数据配比的最优点在哪里”在 2026 年仍是经验问题而非理论问题——但「合成数据按什么比例投」之外的另一根轴已经有了理论答案，见第 1 章 §1.8：先定投放协议（混合 vs 两阶段），再定比例。

争议六：重复、质量与多 epoch 训练的统一。 Muennighoff 的重复律与 Subramanyam 的质量律在形式上同构（都是对有效数据量打折），且亏缺分解声称能把重复作为冗余项吸收。但两者的折扣函数不同（指数饱和 vs 幂律），实验设定也不同（多 epoch 同一数据的重复 ≠ 数据集内混入重复样本，后者有 Hernandez 的双下降现象）。一个统一的”信息重复-质量”理论——能从第一性原理同时预测两者的折扣形状——尚未出现。

但决策顺序已经有了实证答案（2026-10-08 补）。 WildAI 给出的建议中有一条直接把重复与质量接在一起：「repeating human text before expanding the training dataset with AI-generated web text」——先重复人类文本，再用 AI 生成的网页文本扩张数据集。这与 §2.2.3 Muennighoff 的「4 epoch 以内重复几乎无损」合起来构成一条可执行的优先级：扩张语料前，先把已有高质量人类语料的多轮重复用满。§2.5.2 的优先级排序（去重 ≫ 构成 > 过滤 > 逐 token 去噪）可以再加一条附注：在 AI 占比持续上升的语料环境下，「重复人类文本」排在「用 AI 文本扩张」之前。

争议七：当污染不是「噪声」而是「另一类语料」时，$Q$ 的单调性不够用了（2026-10-08 新增）。 WildAI（arXiv:2609.40295，How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text，2026-09-30，UMD 与 Pangram Labs；预训练 800 个语言模型，19.9M–973M 参数）测量了一类此前未被计入口径的语料：未标注地进入预训练数据的「野生」AI 文本。经 FineWeb 质量过滤后，2026 年 6 月的网页 token 有 27.5% 被判为 AI 生成，8 月升至 31.1%（纯 AI 占比序列：2024-06 约 10% → 2025-06 约 16% → 2026-06 约 28% → 2026-08 约 31%）。作者强调这类文本不是合成数据实验或 model-collapse 设定里的那种：它来自众多个模型、面向人类读者写作、且未标注地混入语料。

结论是变号的：对数据饥渴的模型，加入 AI token 起初降低人类文本上的 loss，收益饱和后反转为害；对人类文本预算充足的模型，AI token 几乎立刻抬升 loss，而同等数量的新增人类 token 仍在持续降 loss。作者明写「Existing scaling laws such as Chinchilla (Hoffmann et al., 2022), which treat AI tokens as no different from human tokens, fail to predict this behavior」，并提出带独立收益项与损害项的新缩放律——AI token 的价值（以人类 token 当量计）可以变号，且在无 AI 文本时退化为 Chinchilla。代价可算：在 2026-08 的 31% 占比下，用未过滤爬取数据训练，要达到「在其人类子集上以 20 tokens/parameter 训练」的同等效果，需要 1.6× 算力；按作者预测的 2027 年底 42%、2028 年底 51% 占比，该倍数升至 2.1× 与 3.0×。

对本章框架的直接含义：$Q \in (0,1]$ 配 $\gamma > 0$ 是单调折扣——$Q$ 越小越差，永不变号。而野生 AI 文本的价值随人类 token 预算改变符号。这意味着 §2.3.1 的两个弱条件（平滑退化、可用信息代理）不足以覆盖「来源类污染」：这类污染不是一个更小的 $Q$，而是一个需要在收益与损害之间做符号判断的新维度。§2.3.3 亏缺分解里为合成数据预留的 $H$ 项，正是应当承载它的位置——但按本节的证据，$H$ 不能是一个恒正的罚项。

限定：WildAI 为 2026-09 预印本、未见同行评议；上述算力倍数基于作者对 AI 占比的外推预测；本书只读了摘要与 Figure 说明，未取用正文里收益项/损害项的具体参数化形式。

此外还有两个工程层面的未决事项值得记录：其一，Chinchilla 最优比（~20 token/参数）在实践中已被前沿模型普遍突破（Llama 3 系列以数十倍于参数的 token 训练），“infra-optimal”（推理最优）目标正在取代训练最优目标，质量参数在这一新目标函数下的位置有待重写；其二，缩放律研究几乎全部以英语为中心，多语言与中文语料上的 $\alpha$、$\beta$、$\gamma$ 系统性测量仍属空白地带（这也是本书中文语境下后续章节将反复回到的母题）。

---

引用核对（2026-10-08 一手）：Subramanyam 等（arXiv:2510.03313）确认为 ICLR 2026 Poster，标题与本章引用一致（官方页 iclr.cc/virtual/2026/poster/10006678）；该文 arXiv 存 v1（2025-09-30）与 v2（2026-02-23）两版。Kaplan（2001.08361）/ Chinchilla（2203.15556）/ Muennighoff（2305.16264）/ FineWeb（2406.17557）/ DCLM（2406.11794）/ DoReMi（2305.10429）/ RegMix（2407.01492）/ Data Mixing Laws（2403.16952）/ Villalobos（2211.04325）等经典编号本轮未见异常。同步复核：enc-ch01 与 enc-ch00 引用的 12 个 arXiv 编号全部通过。

---