给数据质量发一个参数：当 Q 被写进 Chinchilla 公式，「更多」就不再是默认答案

引言：一条把数据当燃料的律，和一个它解释不了的事实

2022 年 Chinchilla 给出的结论简洁有力：模型参数和训练 token 应该同比例放大，每参数约 20 个 token 是最优配比。这条律在之后几年成了预训练的预算基准，也悄悄确立了一个隐含假设——每个 token 是等价的。数据在这个公式里只有一个维度：量。

实践者早就知道这是假的。Hugging Face 的 FineWeb 团队在 15 万亿 token 的 FineWeb 语料上跑了一次教育质量过滤，留下 1.3 万亿 token。保留比例 8.7%，不到十分之一。结果是 MMLU 从 33% 涨到 37%，ARC 从 46% 涨到 57%。

更说明问题的是 token 效率那条曲线：FineWeb-Edu 只用了 380 亿 token 就打到 33.6% 的 MMLU，而当时公开数据集中排名第二的 Matrix 需要 3000 亿 token 才摸到相近的水位。差了接近一个数量级。如果 token 真的等价，这个差距不该存在。

问题是，这类结果一直是经验观察，没有律。你可以在自己的语料上复现它，却没法在动工之前算出来：我手上这笔算力，应该花在洗数据上，还是花在多买卡上？

ICLR 2026 的一篇论文把这个缺口补上了。

技术细节：把 Q 塞进 Chinchilla 的分母

芝加哥大学的 Anirudh Subramanyam、Yuxin Chen 与 Robert L. Grossman 在《Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining》（arXiv:2510.03313）里引入了一个无量纲的数据质量参数 Q，把 Chinchilla 从二元扩展到三元：

$L(N, D, Q) = \frac{A}{N^\alpha} + \frac{B}{D^\beta \cdot Q^\gamma} + E$

N 是参数量，D 是数据量，Q 取值在 (0, 1] 区间，Q = 1 代表完美干净且具代表性的语料。当 Q = 1 时，这个式子退化为原始 Chinchilla——它不是推翻前作，而是给前作补了一个此前被折叠掉的自由度。

支撑这个形式的是有效样本量的视角。真正决定模型表现的，不是你喂进去多少 token，而是其中多少 token 是有用的：

$D_{eff} = D \cdot g(Q) \approx D \cdot Q^\gamma$

脏数据和冗余数据不是按比例削弱贡献，而是按幂律压缩有效量。这解释了为什么 FineWeb-Edu 去掉 92% 之后反而更强：被去掉的那部分对 D_eff 的贡献远低于它占用的算力。

Q 怎么取值？论文给了两个实用估计器：一是破坏率代理（corruption rate proxy），用注入噪声的比例反推；二是缺陷度量（deficiency measure），衡量语料相对理想分布的缺失程度。两者都不需要先验地知道”什么算好数据”，只需要能度量偏离。

实验层面有三个结论值得记住。第一，有效数据量随质量亚线性衰减——质量提升带来的收益会递减，不是线性兑换。第二，模型对中等程度的污染表现出鲁棒性——少量脏数据不会让律失效。第三，论文做了 out-of-sample 评估，验证的不只是”这条曲线能拟合已有数据点”，而是”它能预测没参与拟合的点”——这是把一条经验拟合与一条可外推的律区分开的关键一步，也是这篇工作值得被当作律而非观察来对待的主要理由。

前两条合起来意味着：洗数据有收益，但收益存在拐点，过了拐点继续投入的边际回报会快速下降。

局限要讲清楚。 论文的实验是在神经机器翻译（8 层 GPT-Neo 的英德任务）和自回归建模上做的，通过多级噪声注入来系统控制数据质量。这是受控合成实验，不是在百亿参数规模的真实预训练语料上拟合出来的曲线。所以它的价值在于形式而非常数——不要指望把论文里的系数抄过来算你的预算，但你应当接受”质量是缩放律第三个变量”这个结构。

行业影响：数据工程从手艺变成资源配置

一旦 Q 进了公式，数据工程就从”凭经验调过滤阈值”变成了可以做预算的资源配置问题。

给定固定算力，你面对的其实是三个可以互相替换的变量：把 N 加大、把 D 加大、把 Q 提高。第三条路此前无法量化，现在至少有了量纲。论文自己的结论也指向这个方向：更高质量的数据可以显著减小所需的模型规模，从而降低算力需求。换句话说，质量是算力的替代品，而不只是质量的提升。

行业里另外几条线索在往同一个方向收敛。字节跳动与加州大学圣克鲁兹分校的 InfoLaw（arXiv:2605.02364）走的是另一条建模路径，直接对数据信息量建模：参数只在 27 次训练上拟合，外推到 7B 参数 / 425B token 的运行，损失预测的平均绝对误差 0.15%、最大 0.96%。

调度侧的 DSR（Drop-Stable-Rampup，arXiv:2605.25698）值得多说几句，因为它是三条线索里唯一给出了工业级规模实测的。它做的不是静态配比，而是训练过程中的动态调度——而且调的不只是数据，还有 batch size：

数据质量切换点
      │
      ▼
  Drop（降 batch）──▶ Stable（保持低位积累信号）──▶ Rampup（升 batch 抑制噪声）

这个三段式不是拍脑袋设计，而是从理论结构推出来的。论文把带时变数据质量的函数缩放律放进特征空间回归模型，解出渐近最优的联合调度，并识别出两种 regime：

• 噪声受限区（noise-limited）：用更小的 batch，能把更干净的数据转化成更多有效信号，而噪声水平相当；
• 信号受限区（signal-limited）：把高质量数据往后放，可以在不损失信号积累的前提下抑制终端噪声。

顺带解释了一个工程上的长期困惑——为什么常规的 decay 调度会和课程式（curriculum）数据流水线打架：两者对”高质量数据该在什么时候喂进去”给出的答案相反。

实测规模是这篇工作的说服力所在：15B MoE 模型在 1080 亿 token 通用域数据上做中训练，DSR 相比 Warmup-Stable-Decay 平均准确率 +1.70、相比 Cosine-decay +2.98，其中 GSM8K +4.23、MATH +2.80。在公开的数学-代码混合数据上，600M 稠密模型较最强基线 +3.27，同一 MoE 架构下 +5.25。

形式不同，动机一致——都试图让”数据好不好”变成可计算的东西。

⚠️ 注意三者的层次不同：Q 缩放律给出的是静态预算关系（给定算力，N / D / Q 怎么配），DSR 给出的是动态调度策略（训练过程中怎么安排），InfoLaw 给出的是另一种质量度量口径。它们是互补而非竞品——先有 Q 才能谈调度，而调度又会反过来影响实际达到的 Q。把任何一家的数字直接套到另一家的场景里都会失效。

反例同样重要。 FineWeb 团队在去重策略上踩过一个值得记住的坑：跨全部 96 个月份快照做全局去重，效果反而比逐快照去重更差。原因是全局去重倾向于删掉那些在多次抓取中反复出现的高质量内容，留下来的反而是旧快照里更集中的垃圾。这条经验说明”质量”不是单一维度，覆盖率是另一条腿。把过滤做得更激进，不等于 Q 更高。

FineWeb-Edu 的话题分布变化也印证了这一点。教育类分类器把语料明显推向教育、百科、学术类内容，商业、金融、法律、娱乐、旅游的占比显著下降；在 Paloma 的 Reddit、Twitter 类通用域上，FineWeb-Edu 的困惑度反而高于原始 FineWeb。追求更高的 Q 会收窄长尾能力，这个代价得算进账里。

未来展望：三道还没跨过去的坎

第一道是 Q 的可操作化。 论文给了估计器，但在 10 万亿 token 的真实语料上估 Q 到底要花多少？FineWeb 的做法可以作为一个量级参考：用 Llama-3-70B-Instruct 给 46 万个网页打教育质量分，再在 Snowflake-arctic-embed 嵌入上训练线性回归器，最后把分类器跑遍 15 万亿 token——光最后这一步就用了约 6000 个 H100 GPU 小时。这本身已经是一次小型预训练。更要紧的是，分类器自身携带的主观性会成为新的系统偏差源。你测到的 Q，可能只是你的标注模型眼里的 Q。

第二道是质量与覆盖的张力。 前面提到的困惑度反转已经说明问题。目前没有任何一个单一标量能兼顾”这批数据干净”和”这批数据覆盖够广”。用单个 Q 做预算，隐含着把多样性折算进质量的假设，而这个折算关系本身还没有律。

第三道是闭环的可信度。 这一条最容易被跳过。如果你用 LLM-as-Judge 去估 Q，那么 judge 本身的偏差会被直接写进你的律里。今年规模最大的一次系统性评测（arXiv:2606.19544）覆盖了 9 家供应商的 21 个 judge、约 54.1 万条判定，结论是在 MT-Bench 上原始一致率比 Cohen’s κ 高出 33 到 41 个百分点——一个 raw agreement 看起来 85% 的 judge，换成 κ 可能只有 0.45 左右。同一个研究还报告了一致性—偏差悖论：两个已投产的 judge 在重测信度上超过 0.95，位置偏差却都超过 0.10。稳定复现的 judge 也可能稳定地错。

再往下一层，还有个更隐蔽的风险。今天同日发布的一项研究提案指出，当打分信号完全位于验证器下游时，激进筛选会诱发”义务坍缩”——模型学会满足被验证的那部分义务，代价是丢掉未被验证的那部分。SWE-Prime（arXiv:2608.27449）的实验结果——只用 10% 轨迹训练就超过全量数据集，在 SWE-Bench Pro 与 SWE-Bench Verified 上分别取得最高 12.2% 与 24.2% 的相对提升——展示了这条路的上行空间，但下行风险同样成立：你优化 Q 的过程，本身就在收缩模型认为值得做的事。

结论

过去四年，预训练的默认答案是”更多”。更多参数、更多 token、更多卡。Chinchilla 给了这个默认答案一条律，但那条律里没有质量的位置，于是行业只能在律之外凭经验洗数据。

Q 进公式之后，这个局面变了。质量第一次有了和参数量、数据量并列的位置，“洗数据还是加卡”第一次变成可以算的账。

实践上有三条建议是现在就能落地的：

1. 报 κ，不报 raw。 无论你用什么方式度量数据质量，凡是涉及 judge 一致性的地方，都要用机会校正后的指标。沿用原始一致率会系统性地高估你的质量度量本身有多可信。
2. 先测再治。 长度偏差、格式偏好这类偏差的幅度，是你自己那套评分配置的属性，不是模型的固有常数。在自有配置上测出来，再决定要不要做归一化。
3. 把 Q 的测定过程写进数据卡片。 谁标注的、用什么模型、阈值多少、覆盖率代价是什么——没有这些，一个 Q 的数值不可复现，也不可比。

质量是杠杆，规模是乘数。杠杆能撬动的东西有上限，乘数没有——但反过来，杠杆用错方向，乘数只会把错误放大得更快。