预训练数据决策的科学化：从「跑一个试试」到「用 0.01% 算力预测最优数据」

本期主题：当数据决策本身成为一门可验证的科学

前 17 期我们系统走完了预训练数据工程的几乎所有技术环节——去重、选择、配比、评估、合成、治理、万亿级管线。但在所有这些技术讨论中，有一个元问题始终悬而未决：你怎么知道你的数据决策是对的？

这不是修辞问题。当你选择用 fastText 而非 DeBERTa 做质量分类器、用 Jaccard 0.8 而非 0.7 做去重阈值、用 FineWeb-Edu 而非 DCLM 做基础语料——每一个决策背后的验证方式，几乎都是”跑一轮完整预训练看看效果”。

一轮 7B 模型的 1T token 预训练，成本大约 50-100 万美元。用这个成本去验证一个过滤阈值的选择，显然是不经济的。

2025-2026 年出现了一个明确的趋势：把预训练数据决策从经验判断变成一门可验证、可预测的科学。 核心思路是——用极低成本的代理实验（小模型、少 token、统计指标）来预测全规模训练下哪个数据选择最优。

预训练数据决策的传统路径 vs 科学化路径：

传统路径（试错法）：
  数据 A → 训练 7B/1T → 评估 → 不够好
  数据 B → 训练 7B/1T → 评估 → 稍好
  数据 C → 训练 7B/1T → 评估 → 还行
  → 成本：3× 完整训练 ≈ 150-300 万美元
  → 决策质量：取决于你测了多少组

科学化路径（代理实验法）：
  25 个数据变体 → 训练 150M/少量 token → 评估 → 排名
  → 用排名预测 1B+ 模型的最优数据
  → 成本：目标算力的 0.01-1%
  → 决策准确率：~80%（DataDecide 验证）

本期从四个层次解读这场方法论革命：代理实验如何预测最优数据（DataDecide）、数据如何被组织成可操作的域（WebOrganizer）、无训练的统计方法能走多远（Perplexity Correlations）、以及我们对”数据质量”的理解是否从根本上就是错的（Data-Quality Illusion）。

---

一、DataDecide：用 0.01% 算力做 80% 准确的数据决策

1.1 问题的量化

DataDecide: How to Predict Best Pretraining Data with Small Experiments (Magnusson, Tai, Bogin 等 / Allen AI / ICML 2025)

Allen AI 的这篇 ICML 2025 论文做了一件看似简单但此前没人系统做过的事：用受控实验量化”小实验能多准确地预测大模型的最优数据选择”这个问题。

实验规模：

维度	数值
语料库数量	25 个（不同来源、去重、过滤策略）
最大训练量	100B tokens
模型规模范围	4M → 1B 参数（14 个规模点）
随机种子	3 个
模型检查点	30,000+
评估任务	10 个（OLMES 套件）

这 25 个语料库不是随便挑的。 它们系统覆盖了数据工程中的关键变量：来源（Common Crawl、C4、RedPajama、Dolma）、去重策略（无去重 vs URL 去重 vs MinHash 去重）、过滤方法（无过滤 vs 困惑度过滤 vs 分类器过滤）。这意味着 DataDecide 不只是在说”小模型能预测大模型”，而是在说”小模型能预测哪种数据处理策略对大模型最好”。

1.2 四个关键发现

发现 1：单一规模排名就是强基线

决策方法对比：

方法 A：直接排名（Single-scale ranking）
  在 150M 参数模型上训练 25 个数据集
  → 按 benchmark 分数排名
  → 用这个排名预测 1B 模型的最优数据
  → 准确率：~80%

方法 B：Scaling Laws 拟合（8 种变体）
  在多个规模点上训练 → 拟合幂律曲线 → 外推
  → 准确率：没有任何一种超过方法 A
  → 计算成本：更高（需要多个规模点的数据）

结论：
  复杂不等于有效。
  直接看 150M 模型的排名，比拟合 Scaling Laws 更实用。

这个发现对 Vol.17 讨论的 Apple 配比 Scaling Laws 形成了有趣的对照。Apple 的工作证明 Scaling Laws 可以预测最优配比，但 DataDecide 发现在预测”哪个数据集更好”这个更基础的问题上，简单排名就够了。两者并不矛盾——Scaling Laws 在连续变量（配比比例）的优化上有优势，但在离散选择（A 还是 B 更好）上，直接排名更高效。

发现 2：0.01% 算力的”预言”

DataDecide 发现了一个极具实践价值的结论：用连续似然指标（而非离散准确率）评估小模型，可以在仅用目标算力 0.01% 的情况下，对 MMLU、ARC、MBPP、HumanEval 等关键 benchmark 做出 80%+ 准确率的数据选择预测。

成本对比（假设目标：1B 模型，100B tokens）：

完整训练验证 1 个数据集：
  1B × 100B tokens ≈ 100,000 GPU-hours ≈ $300K
  验证 5 个数据集：$1.5M

DataDecide 路线：
  150M × 少量 tokens × 25 数据集
  ≈ 100 GPU-hours ≈ $300
  → 预测准确率 80%

成本比：5000:1

发现 3：评估指标的选择比评估方法更重要

论文发现了一个微妙但关键的实践细节：在小模型上用离散准确率（accuracy）评估代码任务（MBPP/HumanEval），预测结果和随机猜测一样差；但用连续似然指标（字符归一化似然），预测效果立刻回到 80%+。

直觉上这很好理解：小模型几乎无法”通过”代码生成任务（pass@1 接近 0），所以所有数据集的准确率都是 0——无法区分。但连续似然指标可以捕捉”差多少”的信息，从而在低分区间也能有效排序。

对实践的启示：这个发现的工程含义非常直接——评估代理模型时，永远用连续指标而非离散指标。具体建议：(1) 用 MMLU 和 ARC-Easy 做快速筛选，它们在最小规模下就能给出可靠预测；(2) 代码能力用字符归一化似然而非 pass@1 评估；(3) 不要用 HellaSwag，它需要的代理计算量不成比例地高。

发现 4：中间检查点 ≈ 最终检查点

训练到一半就评估，效果和训练完再评估一样好。这意味着你可以进一步将代理实验的成本减半——不需要等训练跑完。

1.3 DataDecide 的开源生态

Allen AI 开源了完整的实验套件：25 个语料库的处理脚本、30,000+ 检查点、所有评估结果。这使得 DataDecide 不仅是一篇论文，更是一个社区可以持续扩展的基准设施——任何人都可以在上面测试新的数据选择预测方法。

对实践的启示：DataDecide 给出了一个立即可执行的工作流——(1) 在你的候选数据集上训练 150M 参数的代理模型（成本：几百美元/几小时）；(2) 用连续似然指标（不是准确率）在 MMLU/ARC 上评估；(3) 取排名最高的数据集用于全规模训练。80% 的决策准确率意味着——你有 4/5 的概率直接选中最优数据，而且只花了 0.01% 的成本。

---

二、WebOrganizer：给非结构化的 Web 数据建立「坐标系」

2.1 非结构化之痛

Organize the Web: Constructing Domains Enhances Pre-Training Data Curation (Wettig, Lo, Min, Hajishirzi, Chen, Soldaini / Princeton + Allen AI + UW / ICML 2025)

DataDecide 解决了”怎么比较不同数据集”，但有一个前置问题：你怎么定义”不同的数据”？

目前大多数预训练数据策展的逻辑是”一锅炖”——Common Crawl 爬下来的万亿 token 被当作一个单一的、无结构的语料库，然后用质量分类器做整体过滤。这种方法的问题在于：它完全忽略了 Web 数据的内在结构。

一篇物理学讲义和一篇旅游博客，在质量分类器眼里可能得到相似的”质量分”（都是写得不错的长文本），但它们对模型的训练价值完全不同。不把数据组织成有意义的”域”，你就无法做精细化的配比优化。

WebOrganizer 提出了一个系统化的解法：

传统数据处理（无结构）：
  Common Crawl → 质量过滤 → 训练
  → 文档只有一个属性：质量分
  → 无法做域配比优化
  → 无法理解"过滤掉了什么"

WebOrganizer（结构化）：
  Common Crawl → 主题分类 + 格式分类 → 域标签
  → 每个文档有三个属性：质量分 × 主题 × 格式
  → 可以做精细化的域配比
  → 可以分析"某类过滤器偏好什么域"

2.2 双维度域分类

WebOrganizer 用两个互补的维度给 Web 数据建立坐标系：

维度 1：主题（Topic）

主题域	示例内容
Science & Technology	学术论文、技术博客、Stack Overflow
Arts & Entertainment	影评、音乐评论、文学评论
Business & Finance	财报分析、投资指南、商业新闻
Health & Medicine	医学文献、健康科普、临床指南
Education	教科书、课程讲义、教育平台内容
Government & Law	法规文本、政策文件、法律分析
…	（更多主题域）

维度 2：格式（Format）

格式域	特征
Knowledge/Reference	百科全书式、结构化知识
News/Journalism	新闻报道格式
Discussion/Forum	问答/讨论格式
Academic	论文/摘要格式
Commercial	商品描述/营销文案
Social Media	短文本/非正式

分类方法：用 LLM 标注少量样本 → 蒸馏到高效的 fastText/DeBERTa 分类器 → 大规模自动标注。分类器的推理速度足以处理万亿 token 级语料。

2.3 域构建如何改进数据策展

论文的核心实验回答了一个关键问题：在有了域标签之后，怎么用它们来改进数据选择？

方法 1：域配比优化

当数据被组织成域之后，你可以用 Vol.4 讨论过的 Data Mixing Laws 或 Vol.17 讨论过的 Apple Scaling Laws 来优化每个域的采样权重。WebOrganizer 的实验表明，显式的域配比优化比无差别的质量过滤效果更好。

方法 2：理解质量过滤器的隐式行为

这是论文最有洞察力的发现之一：现有的质量过滤器（如 FineWeb-Edu 分类器）会隐式地改变域的分布。

质量过滤器的隐式域偏好（示意）：

过滤前：
  Science 20% | News 25% | Forum 15% | Commercial 20% | Other 20%

FineWeb-Edu 过滤后：
  Science 45% | News 10% | Forum 5% | Commercial 2% | Other 38%

发生了什么？
  → 分类器认为"像维基百科/教科书的内容 = 高质量"
  → Science 和 Education 域被大幅上采样
  → News、Forum、Commercial 被系统性丢弃
  → 这不是 bug——是分类器训练目标的必然结果
  → 但这种隐式的域配比变化是否最优？不一定。

WebOrganizer 的发现：将显式的域配比优化与质量过滤叠加使用，效果优于单独使用任何一种方法。这意味着最佳实践不是”用质量过滤器替代域配比”或者反过来，而是先做域标注，再在每个域内做质量过滤，最后优化域间的采样权重。

对实践的启示：WebOrganizer 的核心工程建议是——在数据管线中加入域标注步骤。具体做法：(1) 用 LLM 标注 1-2K 样本建立主题和格式的分类 taxonomy；(2) 蒸馏到 fastText 分类器（推理成本极低）；(3) 给全量数据打域标签；(4) 分析你的质量过滤器在各域上的行为——它是否不合理地偏向某些域？(5) 在域标签的基础上做配比优化。这个流程的额外成本很低（域分类器的推理成本远低于质量分类器），但给后续的配比优化和数据分析提供了必要的基础设施。

---

三、Perplexity Correlations：不训练模型也能选数据

3.1 一个简单的观察

Improving Pretraining Data Using Perplexity Correlations (Thrush, Potts, Hashimoto / Stanford / ICLR 2025)

DataDecide 需要训练代理模型（虽然很小）。有没有完全不训练模型就能选数据的方法？

这篇 ICLR 2025 论文提出了一个令人惊讶的简单答案：利用已有的 LLM 集合的困惑度信息来选择数据。

核心观察：

一个直觉实验：

取 Open LLM Leaderboard 上的 90 个 LLM
  → 计算每个 LLM 在每段 Web 文本上的困惑度
  → 计算每个 LLM 在下游 benchmark 上的分数

问：一段文本上的困惑度，和用该文本训练出来的模型的 benchmark 分数，有相关性吗？

答案：**有**。而且这个相关性可以被利用。

如果一段文本上的困惑度与 benchmark 分数**负相关**
（即：好模型在这段文本上困惑度低）
→ 这段文本对训练有益

如果一段文本上的困惑度与 benchmark 分数**无关**
→ 这段文本对训练没用

3.2 方法与结果

Perplexity Correlations 方法的工作流：

1. 收集现有模型：从 Open LLM Leaderboard 获取 ~90 个 LLM
2. 计算困惑度矩阵：每个模型在每个域/文档上的 loss
3. 计算相关性：每个域/文档的困惑度向量与 benchmark 分数向量的 Pearson 相关系数
4. 选择数据：保留高相关性（负相关）的文档，丢弃低相关性的

关键结果：

对比方法	160M 实验结果	1.4B 实验结果
DSIR（Stanford 经典方法）	基线	基线
Perplexity Correlations	8 个 benchmark 全面超越 DSIR	22 个 benchmark 聚合优于 DSIR
DataComp-LM 最佳手工分类器	旗鼓相当	接近

为什么这个方法有效？

直觉上，一个好的 LLM 在”有用”的文本上困惑度低（它已经”学会”了这类内容的模式），在”无用”的文本上困惑度高。当我们观察 90 个质量参差不齐的 LLM，“好模型和坏模型在这段文本上的困惑度差异”实际上编码了这段文本对模型训练的价值——好模型从这段文本中获益了，坏模型没有。

与 DataDecide 的互补性：

方法定位对比：

Perplexity Correlations（本文）：
  → 用途：从大语料库中选择子集
  → 不需要训练任何模型
  → 需要：已有的 LLM 集合 + 推理计算
  → 输出：文档级别的质量分数

DataDecide（上一节）：
  → 用途：在多个候选数据集之间做选择
  → 需要训练小模型（但非常便宜）
  → 不需要已有 LLM
  → 输出：数据集级别的排名

两者可以级联使用：
  Perplexity Correlations → 从 CC 中选择高价值子集
  → DataDecide → 在多个过滤/去重策略之间选最优
  → 最终数据集

对实践的启示：Perplexity Correlations 的工程价值在于它完全不需要训练模型。如果你有一批 Web 数据需要快速评估其训练价值：(1) 选 10-20 个公开的 LLM（不同规模、不同训练数据）；(2) 计算每个 LLM 在你的数据上的 loss；(3) 与这些 LLM 的 benchmark 分数做相关性分析；(4) 保留高相关性的文档。整个过程只需要推理计算，没有训练成本。开源工具已在 GitHub 上以 pip 包形式发布。

---

四、Data-Quality Illusion：分类器到底在过滤什么？

4.1 一个令人不安的悖论

The Data-Quality Illusion: Rethinking Classifier-Based Quality Filtering for LLM Pretraining (Nait Saada, Béthune, Klein, Grangier, Cuturi, Ablin / Apple + Google / ICLR 2026)

前三节讨论了如何更好地选择数据。但这篇来自 Apple（注意：与 Vol.5 同一组作者）的 ICLR 2026 论文提出了一个更根本的问题：我们用分类器”过滤质量”时，分类器到底在做什么？

CQF（Classifier-based Quality Filtering）是目前预训练数据策展的标准做法。FineWeb-Edu、DCLM 和 Nemotron-CC 都依赖它。基本逻辑是：训练一个分类器区分”高质量参考数据”（如维基百科）和”Web 数据”，然后用分类器分数过滤掉低质量数据。

论文发现的悖论：

CQF 悖论：

观察 1：CQF 过滤后的数据训练的模型，
         下游任务（QA、推理等）表现更好
         → 所有人都认为"过滤有效"

观察 2：CQF 过滤后的数据训练的模型，
         在高质量参考数据集上的语言建模能力并没有提升
         → 甚至可能变差

矛盾：如果 CQF 真的在"选择更接近高质量数据的文档"，
      那训练后的模型应该在高质量数据上的 perplexity 更低。
      但事实不是这样。

推论：CQF 可能并没有在做人们以为的事情。

4.2 CQF 到底在做什么

论文通过精心设计的实验揭示了 CQF 的真实行为：

维度	人们以为 CQF 做了什么	CQF 实际上在做什么
选择标准	识别具有内在”高质量”的文档	根据分类器的表面偏好筛选，该偏好 ≠ 语义质量
学到的特征	语言质量特征（语法、逻辑性、知识密度）	部分是质量特征，部分是格式偏好和域偏好
对分布的影响	使训练分布更接近高质量数据分布	隐式地重塑了域分布（与 WebOrganizer 的发现一致）
性能提升的来源	数据质量的内在提升	可能部分来自域分布的变化，而非纯粹的质量提升

核心实验：论文做了一个关键的对照实验——将预训练数据中的 token 顺序随机打乱，然后用 CQF 分类器重新评分。如果 CQF 真的在评估”文本质量”（语法、逻辑、连贯性），打乱顺序后分数应该大幅下降。但实验显示，打乱后的分数变化远小于预期，暗示分类器在很大程度上依赖的是词频分布等浅层特征，而不是深层的语言质量。

4.3 这对实践意味着什么

Data-Quality Illusion 的结论不是”CQF 没用”——它确实提升了下游性能。但论文揭示的是 CQF 的机制不是人们以为的那样。这有两个重要的工程含义：

含义 1：不要盲目提高过滤阈值

常见的错误推理：
  CQF 过滤到 top 50% → 好
  → 那 CQF 过滤到 top 20% → 更好？
  → 那 CQF 过滤到 top 5% → 最好？

Data-Quality Illusion 的警告：
  过滤到 top 5% 时，你丢弃的 95% 数据中
  有大量"质量不差但不符合分类器格式偏好"的内容。
  → 实际上是在做极端的域选择，而非质量选择
  → 多样性严重丧失
  → 可能反而损害模型的泛化能力

含义 2：CQF 应该与显式的域配比结合使用

这与 WebOrganizer 的结论完美呼应：先做域标注，再在域内做 CQF，最后优化域间配比。这种方法将 CQF 的”质量选择”和”域选择”效应解耦，避免了 CQF 隐式地扭曲域分布。

对实践的启示：Data-Quality Illusion 的核心工程建议是——审计你的质量过滤器的域行为。具体做法：(1) 用 WebOrganizer 的域分类给数据打标签；(2) 比较过滤前后各域的比例变化；(3) 如果某些域被过度丢弃（如 Forum、News），考虑在这些域内独立设置过滤阈值；(4) 不要无限提高过滤阈值——在 top 30-50% 附近通常是质量和多样性的最佳平衡点。

---

五、SwallowCode/Math：当数据不够好，重写它

5.1 Transform-and-Retain：不丢弃，而是重写

Rewriting Pre-Training Data Boosts LLM Performance in Math and Code (Fujii, Tajima, Mizuki 等 / 东京工业大学 / ICLR 2026)

前四节讨论的都是”怎么选数据”。但有时候，可用数据的上限就那么多——特别是在代码和数学这两个垂直领域。这时候问题变成了：怎么让现有数据变得更好？

SwallowCode/SwallowMath 提出了一个与 Nemotron-CC（Vol.17）思路相似但更激进的方案：不是对低质量数据做合成增强，而是对所有数据做系统化的 LLM 重写。

这就是 transform-and-retain 范式——不丢弃任何数据，而是把每段数据都”升级”到更高质量。

5.2 SwallowCode：代码数据的四阶段重写管线

SwallowCode 管线（基于 The-Stack-v2 Python 子集）：

Stage 1  语法验证
  Python AST 解析 → 语法错误的代码直接丢弃
  → 为什么这一步不做重写？
     因为语法错误的代码可能误导 LLM 的重写方向

Stage 2  风格过滤
  pylint 风格检查 → 过滤严重违规的代码
  → 保留风格合理但不完美的代码（这些才是重写的对象）

Stage 3  LLM 重写（第一轮）—— 风格一致性
  → 统一命名规范、格式化、注释风格
  → 目标：让代码库的风格统一

Stage 4  LLM 重写（第二轮）—— 算法优化
  → 将代码片段转化为自包含、算法高效的示例
  → 补充缺失的上下文、移除硬编码、优化算法

最终输出：SwallowCode，约 161 亿 tokens

SwallowMath 管线（基于 FineMath-4+）：

SwallowMath 的重写策略：

原始数据问题：
  ├── 冗余样板（"Welcome to Math Help Forum..."）
  ├── 上下文缺失（引用了前文但前文不在片段中）
  └── 解答格式不统一（有的有步骤，有的直接给答案）

重写目标：
  ├── 移除所有样板内容
  ├── 恢复缺失的上下文
  └── 将解答统一为清晰的逐步推导格式

最终输出：SwallowMath，约 23 亿 tokens

5.3 结果：重写的收益远超过滤

在固定 50B token 训练预算下（Llama 3.1 8B 持续预训练）：

数据集	HumanEval	HumanEval+	GSM8K	MATH
The-Stack-v2（原始）	基线	基线	—	—
Stack-Edu（过滤）	+X	+X	—	—
SwallowCode（重写）	+17.0	+16.1	—	—
FineMath-4+（原始）	—	—	基线	基线
SwallowMath（重写）	—	—	+12.4	+7.6

消融实验的关键发现：管线中的每个阶段都有增量贡献，但 LLM 重写阶段贡献最大——远超语法验证和风格过滤。

这个结论与 Vol.16/17 讨论的趋势一致：“过滤”正在被”重写”取代。Nemotron-CC 对低质量数据做合成重写，SwallowCode 更进一步——对所有数据都做重写。逻辑是一样的：丢弃数据意味着丢弃信息，重写意味着保留信息但提升表达质量。

5.4 Transform-and-Retain vs Filter-and-Discard

两种数据提升范式的对比：

Filter-and-Discard（传统）：
  100 份数据 → 过滤 → 保留 30 份高质量数据
  → 数据利用率：30%
  → 信息损失：高（70% 数据中的有用信息被丢弃）
  → 成本：低（只需推理分类器）

Transform-and-Retain（SwallowCode/Nemotron-CC）：
  100 份数据 → LLM 重写 → 100 份高质量数据
  → 数据利用率：~100%
  → 信息损失：低（信息被保留，表达被优化）
  → 成本：高（需要 LLM 推理）

适用条件：
  数据充足 → Filter-and-Discard 更经济
  数据稀缺（代码、数学、小语种） → Transform-and-Retain ROI 更高

对实践的启示：如果你在做垂直领域（代码、数学、医疗、金融）的预训练/持续预训练，可用的高质量数据通常是稀缺的。SwallowCode 的经验说明，与其花大力气从 noisy 数据中过滤出干净子集，不如花同样的成本把所有数据重写一遍。HumanEval +17 的提升远超任何过滤方法能达到的效果。具体建议：(1) 对代码数据，先做语法验证（成本低、收益明确），再做 LLM 两轮重写；(2) 对数学数据，重点是恢复上下文和统一解答格式；(3) 重写模型用你能负担的最强模型——SwallowCode 用的是 Llama 3.3 70B。

---

六、全景视图：预训练数据决策的完整工具箱

预训练数据决策的四层方法论：

Layer 1  理解数据（在做任何选择之前）
  ├── WebOrganizer：给 Web 数据打域标签（主题 × 格式）
  ├── 分析质量过滤器的隐式域偏好
  └── Data-Quality Illusion：审计 CQF 的真实行为

Layer 2  选择数据（哪些文档要保留）
  ├── Perplexity Correlations：零训练成本的文档级质量评分
  ├── CQF + 域感知：在每个域内独立做质量过滤
  └── 阈值不要太激进——top 30-50% 通常是甜蜜点

Layer 3  比较策略（哪种处理方式最优）
  ├── DataDecide：150M 代理模型 + 连续似然指标
  ├── 80% 决策准确率，0.01% 算力成本
  └── 用 MMLU/ARC 做快速筛选，代码任务用连续指标

Layer 4  提升数据（当选择还不够时）
  ├── Transform-and-Retain：LLM 重写所有数据
  ├── 垂域数据（代码/数学）优先使用重写而非过滤
  └── 通用数据的合成回收（Nemotron-CC，Vol.17）

决策流程图：

你有一批 Web 数据要用于预训练：

Step 1: 理解
  → WebOrganizer 打域标签
  → 分析域分布

Step 2: 选择
  → 域内 CQF 过滤（不是全局）
  → 可选：Perplexity Correlations 精细筛选

Step 3: 比较
  → 多个过滤策略？用 DataDecide 150M 代理实验
  → 配比优化？用 Apple Scaling Laws（Vol.17）

Step 4: 提升
  → 通用 Web 数据：Nemotron-CC 合成回收
  → 垂域数据：SwallowCode/Math 风格重写

Step 5: 验证
  → 代理模型 + 连续指标快速验证
  → 通过后再投入全规模训练

---

本期思考

回顾本期解读的五项工作，一个核心判断浮现：预训练数据工程正在从”手艺”变成”科学”。

三个认知转变正在发生：

第一，“直觉”正在被”代理实验”取代。 DataDecide 证明了一个 150M 参数的小模型可以以 80% 的准确率预测 1B 模型的最优数据选择——而成本只有 0.01%。这意味着”拍脑袋选数据”和”烧钱验证选数据”都不再是唯一选项。代理实验提供了一个成本可控、精度可接受的中间路线。Perplexity Correlations 更进一步——连代理模型都不需要训练，利用已有模型的推理结果就能做数据选择。

第二，“质量”这个概念正在被解构。 Data-Quality Illusion 揭示了一个令人不安的事实：我们最常用的质量过滤方法（CQF）可能并没有在评估”质量”——它在做的是一种混合了质量选择和域选择的操作，而我们对两者的相对贡献一无所知。WebOrganizer 的域构建框架提供了解耦两者的工具：先组织数据的结构，再在结构之上做精细化决策。

第三，“过滤”正在让位给”重写”。 这个趋势从 Vol.16 的合成数据讨论开始，经 Vol.17 的 Nemotron-CC 数据回收，到本期 SwallowCode 的 transform-and-retain，已经非常清晰：在数据稀缺的垂直领域，重写所有数据的 ROI 远高于过滤出子集。HumanEval +17 的提升是任何过滤方法都无法企及的。

给数据工程团队的行动清单：

1. 今天就做：在你的下一次数据选择中，训练一个 150M 的代理模型做快速验证。用连续似然指标（不是准确率）评估。成本可能只有几百美元
2. 本周可做：给你的训练语料打域标签。不需要复杂的分类器——用 LLM 标注 1K 样本 + fastText 蒸馏就够了。然后分析你的质量过滤器在各域上的行为
3. 本月可做：如果你在做代码/数学领域的训练，评估 transform-and-retain 管线（语法验证 → 风格过滤 → LLM 两轮重写）的可行性。SwallowCode 的管线和 prompt 都已开源
4. 本季度规划：建立完整的数据决策框架——WebOrganizer 域标注 → 域感知 CQF → DataDecide 代理验证 → 全规模训练。用 Perplexity Correlations 作为补充的零成本质量评估

---

下期预告：多模态预训练数据工程——当训练数据从文本扩展到图像、视频和音频，数据策展的规则如何变化