精读：数据过滤的苦涩教训

1 论文概览

一句话总结： Stanford 三位学者通过跨越两个数量级的系统实验证明——当计算量足够大时，未过滤的 Common Crawl 优于所有标准过滤方法；大模型不仅容忍低质量和干扰数据，实际上还能从中受益。

核心问题： LLM 预训练中普遍采用数据过滤（保留高质量文本、去除低质量噪声），这一实践在高计算量、数据稀缺的 regime 下是否真的有益？过滤掉的数据中是否存在被忽视的价值？

主要贡献：

1. 实验证据： 在 15M 到 7B 参数、6.7 亿到 100 亿 token 的系统实验中，未过滤数据池在足够大的模型和训练量下始终超越五种主流过滤器
2. 干扰鲁棒性： 即使注入 8 倍打乱词序的”垃圾”数据，330M+ 模型仍能在有限训练后超越纯 CC 性能
3. Scaling Law 预测： 推导出无过滤成为最优策略的计算量阈值——约 $10^{30}$ FLOPs，预计 2030 年前后可达
4. 理论模型： 低秩矩阵分解模型证明，模型秩足够大时噪声可被完美吸收；过滤改进的条件是”过滤器在错误标签上的保留率必须低于正确标签上的保留率”
5. 事实性分析： CC 中支持性文档数量至少比反驳性文档大一个数量级，说明主动有害内容频率极低

2 方法详解

架构/方法概述

论文采用同比例缩放实验方法——将 Common Crawl 全池和各种过滤版本同比例缩小，然后在不同模型大小 × 训练步数的网格中比较最佳可达性能。这种方法的核心洞察是：直接比较不同大小数据集上的损失曲线是无意义的（数据量不同），必须通过最优性能 $\mathcal{L}^\star(D)$ 这一数据集的内在价值度量来消除训练预算的干扰。

$\mathcal{L}^\star(D) := \min_{M, N} \ell(\mathcal{A}(D, M, N))$

其中 $M$ 为参数量，$N$ 为训练步数，无约束地最小化以提取数据集的全部”价值”。

三阶段实验设计

阶段一（Section 3）：数据过滤实验。 在 6.7 亿 token 的最小 CC 子集上，对比五种主流过滤器的最佳可达性能：

过滤器	保留率	核心逻辑
English filter	28.2%	fastText 语言分类器阈值
Repetition filter	45.3%	Gopher 式重复比例阈值
Stop word filter	50.4%	至少 2 次英语停用词
RefinedWeb	13%	上述过滤器组合
DCLM-Baseline	2.1%	RefinedWeb + 去重 + 质量分类器

阶段二（Section 4）：干扰数据注入。 向 CC 池中注入两种”垃圾”数据：

• 随机生成字符串（1 万词随机词表 → 随机拼接）
• 打乱词序的 CC 文档（保留 unigram 分布，破坏序列结构）

注入量最高达原池的 8 倍（+800% shuffled），此时仅约 10% 的文档为原始 CC。

阶段三（Section 5）：池大小扩展。 从 6.7 亿扩展到 100 亿 token，验证结论的鲁棒性，并拟合 scaling law 预测无过滤策略的计算量阈值。

关键创新点

1. “最佳可达性能”度量： 不是比较同一训练步数下的损失，而是比较每个数据集在最优 $(M, N)$ 配置下的最低损失。这消除了”数据集小 → 训练更快 → 同步数损失更低”的混淆因素

2. 同比例缩放： 保留过滤器的保留率特征，避免引入缩放比差异的干扰

3. 极端干扰注入： 打乱词序到 8 倍量的设计不是为了模拟真实噪声，而是为了测试模型吸收极端噪声的能力上界

4. 理论-实验闭环： 低秩矩阵分解模型（Proposition 7.1）从理论上解释了”大模型吸收噪声”的机制，并与实验观察交叉验证

与基线方法的区别

传统数据过滤研究关注计算受限场景——必须在有限算力下选择最优数据子集。本文翻转了这个问题：在计算充足时，过滤是否还有价值？ 这不是增量改进，而是对整个数据工程范式的根本性质疑。

“In spite of an apparently common belief that filtering data to include only high-quality information is essential, our experiments suggest that with enough compute, the best data filter is no data filter.” — Mohri, Duchi, Hashimoto (2026)

3 实验结果

主要指标

核心指标为三个验证集上的平均交叉熵损失：C4（英文）、Fineweb-Edu（教育文本）、Cosmopedia（合成文本）。补充指标包括 ARC-Easy、PIQA、SocialIQA 的下游任务准确率。

与过滤器的对比

关键发现：损失曲线交叉。 在 6.7 亿 token 的 CC 子集上：

• 15M 模型： 未过滤池在所有训练步数下都无法超越任何前四种过滤器——小模型确实需要过滤
• 80M 模型： 出现交叉点，但需要较多训练步数
• 330M+ 模型： 池在有限训练后超越所有五种过滤器
• 1B 模型： 池的最佳损失 3.37，且损失未明显饱和

核心趋势：随模型尺寸增大，交叉点出现得更早。 这意味着模型越大，越不需要数据过滤。

干扰数据实验

模型	随机字符串结果	打乱词序结果
15M	损失曲线明显分离，噪声有害	同左
330M	随机数据集性能接近池	除 +800% 外，所有打乱词序数据集在 ~11B 训练 tokens 后超越纯池
1B	差距继续缩小	预计交叉更早出现

最反直觉的发现：+200% 打乱词序的文档在 330M 模型上不仅没拖累，反而帮助模型超过了纯 CC 池的表现。 这说明打乱词序保留的 unigram 分布和文档内共现信号对大模型仍有价值。

Scaling Law 与计算量预测

定义 $N^\star(M, m)$ 为池超越 RefinedWeb 所需的最小训练步数，在固定模型大小 $M$ 下关于池大小 $m$ 拟合 scaling law：

池大小	1B 模型下超越 RefinedWeb 的 epoch 数
6.7 亿	~1 epoch
20 亿	~3 epochs
100 亿	~10 epochs

两种方法（token/参数比 600:1 和 4 epoch 约束）均给出高度线性的 scaling law（$R^2 > 0.99$），预测无过滤成为最优策略的计算量阈值为 $\sim 10^{30}$ FLOPs。

计算量参考	FLOPs
当前前沿（Grok 4）	$\sim 5 \times 10^{26}$
2030 年预测	$\sim 10^{29}$
无过滤最优阈值	$\sim 10^{30}$

消融实验关键发现

1. 过滤保留率的非线性效应： 将 DCLM-Baseline tokens 扩大一个数量级（14M → 1 亿），仍被更宽松过滤器+大模型组合超越——问题不是数据量，而是过滤本身丢失了信息

2. 事实性分布验证： GPT5-mini 对 MMLU 相关 CC 文档分类显示，支持性文档至少比反驳性文档大一个数量级（如世界宗教类别 5.89% vs 0.00%），说明 CC 中主动有害内容频率极低

3. 分布偏移的层次： 打乱词序主要影响序列级分布（条件分布偏移），但对 unigram 级分布（边缘分布）无影响；大模型能够利用这种残留信号

4. 理论-实验交叉验证： 低秩分解模型（Proposition 7.1）预测——当模型秩 $r \geq \rho$（数据有效秩），过剩损失为 0，噪声可被完美吸收；这与实验中 330M+ 模型吸收干扰数据的观察高度一致

4 个人分析

亮点

1. 范式级问题重新定义。 论文没有问”哪种过滤器最好”，而是问”过滤是否还需要”。这个问题的范式中，传统数据工程——精心设计的清洗 pipeline、质量分类器、去重策略——可能只是在”计算受限”这个特定条件下的权宜之计。论文标题致敬 Sutton 的 “The Bitter Lesson”，暗示数据工程可能正在经历与 Sutton 观察到的相同模式：精巧的人类设计最终被规模碾压。

2. 实验设计的方法论典范。 “最佳可达性能” $\mathcal{L}^\star(D)$ 的定义消除了训练预算差异的混淆；同比例缩放保留了过滤器的结构特征；极端干扰注入测试了上界。三层实验设计（过滤对比 → 干扰注入 → 池大小扩展）形成完整证据链。

3. 理论深度与实验精度的罕见结合。 Proposition 7.1 的低秩矩阵分解模型不仅是事后解释，而是预测性地回答了”模型需要多大才能吸收噪声”——与实验中 15M 失败、330M 成功的观察精确对应。Fact C.2 给出了过滤器何时能改进性能的充要条件，将直觉（“过滤应移除坏数据保留好数据”）形式化为可验证的不等式。

4. Scaling law 的工程实用性。 $10^{30}$ FLOPs 的预测虽然远离当前算力，但 scaling law 本身（$R^2 > 0.99$）提供了可操作的决策框架：给定预算，可以精确计算”此时过滤是否仍有价值”。这对训练规划有直接指导意义。

局限性

1. 与后训练脱节。 论文明确限定在”密集 Transformer 预训练”，不考虑数据课程、数据权重和后训练。但现实中的 LLM 训练 pipeline 是 SFT → RLHF → 部署的完整链路——预训练阶段保留的”低质量数据”是否会在后训练阶段产生不可控的副作用？这是论文未触及但至关重要的问题。

2. CC 中事实性的乐观假设。 GPT5-mini 分类显示反驳性文档极少，但这一结论可能低估了以下风险：

• 隐蔽错误： 事实性错误不总是以”反驳”形式出现，更危险的是看似合理但实际错误的表述
• AI 生成污染： DCLM-Pool 是 2023 年前的 CC，AI 生成内容比例低；随着 AI 生成内容充斥互联网，未来 CC 中的”低质量”可能从”噪声”变为”系统性错误”
• 安全风险： 论文仅分析了事实性，未涉及毒性、偏见、隐私等安全维度

3. 实验尺度的外推风险。 最大实验仅到 7B 模型 × 100 亿 tokens，距 7B 的 Chinchilla 最优（14 万亿 tokens）还有 3 个数量级。虽然 scaling law 拟合良好（$R^2 > 0.99$），但 LLM scaling 的历史反复证明：小尺度拟合的 scaling law 在大尺度上可能失效（参见 TPP Coverage 论文 arXiv:2605.08541 的分析）。

4. MoE 与非标准架构的空白。 论文仅测试密集 Transformer，但 MoE 等稀疏架构对数据质量更敏感——因为专家路由需要足够的数据多样性来学习有意义的分片。混合精度训练、量化感知训练等场景下的鲁棒性也未验证。

5. “噪声有益”的机制不够精确。 打乱词序 +200% 反而超越纯池的结果非常反直觉。论文推测可能是”正则化效应”或”unigram 信号”，但缺乏消融来精确区分这两种解释。如果是正则化，那么用标准正则化手段（dropout、权重衰减）可能更可控；如果是 unigram 信号，那特定类型的”低质量”数据确实携带了有用信息。

对大模型领域的影响

短期（1-2 年）： 训练团队可能需要重新评估数据过滤策略——特别是过度过滤（如 DCLM-Baseline 仅保留 2.1%）可能在较大模型和更长训练下反而有害。这一发现与近期过度训练趋势（如 LLaMA 的 token/参数比远超 Chinchilla 最优）形成协同：如果你要过度训练，就更不应该过度过滤。

中期（3-5 年）： 如果 $10^{30}$ FLOPs 的预测成立，到 2030 年前后，数据工程的核心将从”清洗”转向”收集”——不是从 240 万亿 token 中筛选出 5 万亿，而是确保 240 万亿 token 的覆盖面足够广。这与”数据稀缺”而非”数据质量”成为主要瓶颈的趋势一致。

长期： 论文对”数据质量”概念本身提出了根本性挑战——质量是算力的函数，而非数据的固有属性。 同一份数据在小模型旁是噪声，在大模型旁是信号。这意味着数据工程需要从静态的”质量评估”转向动态的”数据-算力匹配”。

5 实践启示

可以借鉴的技术

1. 最佳可达性能评估法。 在评估数据选择策略时，不要仅比较同一步数下的损失，而应比较每个数据集在最优配置下的最低损失。这避免了”数据集小 → 更快收敛 → 看起来更好”的虚假优势。

2. 同比例缩放实验。 当需要比较不同数据选择策略时，保持各策略的保留率特征不变，同比例缩小后做网格搜索。这比全尺度对比节省了 3-4 个数量级的算力，同时保留了策略的本质差异。

3. 干扰注入压力测试。 向训练数据中注入可控比例的”垃圾”数据（随机字符串、打乱词序），测试模型吸收噪声的能力上界。这比仅测试不同过滤器更极端、更能揭示模型的鲁棒性边界。

4. 过滤器条件诊断（Fact C.2）。 评估一个过滤器是否可能改善性能时，检查”过滤器在错误标签上的保留率 / 正确标签上的保留率”是否 < 1。如果 CC 中正确信息的普遍率已经很高（如论文的事实性分析所示），过滤的改进空间本身就很小。

5. Scaling law 驱动的数据策略决策。 给定训练预算，通过小尺度实验拟合 $\mathcal{L}^\star$ scaling law，预测”此时过滤是否仍有价值”。这比全尺度消融节省 1000 倍以上的算力。

潜在应用场景

1. 后训练数据质检的重新定位。 本文对”低质量数据”的重新定义直接挑战了后训练数据质检系统（如质检 V2）的假设基础——如果预训练阶段”低质量”数据可能有益，那么后训练阶段的数据质量标准是否也需要重新评估？特别地，RLVR 中的 rejection sampling 策略可能需要区分”噪声型低质量”（可能有益）和”错误型低质量”（有害）。

2. 过度训练场景下的数据策略。 当前 LLaMA 系列等模型普遍采用过度训练策略（token/参数比远超 Chinchilla 最优）。本文表明，过度训练 + 过度过滤可能是双重浪费——你既花了多余的计算，又丢掉了本可利用的信息。

3. 数据稀缺场景下的数据利用最大化。 当可用的特定领域数据有限时（如小语种、专业领域），不过滤可能比过滤更好——因为任何过滤都会进一步减少本已稀缺的数据量，而模型可能在足够训练后从看似低质量的领域数据中受益。

4. Scaling law 不确定性的连锁影响。 本文的 scaling law 预测建立在特定实验尺度上。结合 TPP Coverage 论文（arXiv:2605.08541）的发现——Chinchilla 式共线实验设计存在 Gauss-Newton 病态性——本文的 $10^{30}$ FLOPs 预测可能存在显著的不确定性。在实际训练规划中，应将此预测作为量级参考而非精确阈值。

5. AI 生成内容的监控。 论文承认 DCLM-Pool 中 AI 生成内容比例低，但未来 CC 的 AI 内容比例将持续增长。如果 AI 生成的”低质量”数据不是随机噪声而是系统性错误，那么”不过滤”策略可能面临新的挑战。这需要持续的分布监控——从静态的”质量评估”转向动态的”数据-算力-风险匹配”。

---

本文为「论文精读」专栏第 33 篇。论文原文：arXiv:2605.19407