数据工程观察 · Vol.21

预训练数据操作的粒度革命：从文档级到 Token 级，从人工设计到 AI 自主进化

系统解读预训练数据策展操作粒度的代际跃迁——Rho-1 的选择性语言建模证明 3% token 匹敌全量训练、Radford 的 token-level filtering 实现 7000 倍能力抑制、DataEvolve 的自主进化框架在 672B token 上超越 DCLM、课程学习的学习动力学分析揭示其收益随规模递减的本质机制

2026年4月17日 token-level data selection selective language modeling Rho-1 token filtering DataEvolve Data Darwinism curriculum learning data curation 自主进化粒度 TOSS Token Cleaning SAE 策略进化

本期主题：当数据操作的「手术刀」从文档缩小到 Token

前 20 期我们系统覆盖了预训练数据工程的几乎所有维度——去重、过滤、配比、合成、安全、治理、多模态。但如果回看这些工作的操作粒度，一个有趣的模式浮现了：

绝大多数方法的操作单元是「文档」。 FineWeb 按文档过滤，DSIR 按文档选择，MinHash 按文档去重，Data Mixing Laws 按文档域计算配比。这是一个自然的选择——文档是预训练数据的天然组织单位，工程上最容易处理。

但 2024-2026 年间，一条新的研究线索正在把操作粒度从文档推向更细：

预训练数据操作的粒度演进：

L0  语料库级（Corpus-level）
    "用 Common Crawl 还是用 Wikipedia？"
    → 手动选数据源
    → 2020 年以前的主流做法

L1  域级（Domain-level）
    "代码占 30%、学术论文占 20%"
    → Data Mixing Laws / DoReMi
    → 2022-2024 年主流

L2  文档级（Document-level）
    "这篇文档质量够高吗？保留还是丢弃？"
    → DSIR / QuRating / FineWeb-Edu fastText
    → 2023-2025 年主流

L3  段落/句子级（Passage/Sentence-level）
    "这个段落有信息增益吗？"
    → Ultra-FineWeb 的段落质量评分
    → 2025 年开始出现

L4  Token 级（Token-level）     ← 当前前沿
    "这个 token 值得学吗？"
    → Rho-1 / Token Filtering / TOSS
    → 2024-2026 年快速演进

L5  自主进化级（Autonomous）     ← 新兴方向
    "让 AI 自己决定怎么处理数据"
    → DataEvolve
    → 2026 年开始

这不仅仅是技术细节的变化——操作粒度的每一次下探，都对应着数据效率的量级跃升。 Rho-1 用 3% 的 token 匹敌全量训练；Radford 的 token filtering 实现 7000 倍的能力抑制比；DataEvolve 在无需人工设计策略的情况下超越了 DCLM。

本期从四个层次展开这场粒度革命：选择性语言建模的奠基（Rho-1）、Token 级过滤的能力塑形（Radford）、AI 自主进化的策展框架（DataEvolve）、以及课程学习的学习动力学真相。

一、Rho-1：不是所有 Token 都值得学

”Not All Tokens Are What You Need” (微软亚洲研究院 + 清华, 2024)

这篇论文是 token 级数据选择在预训练场景的奠基工作。它提出了一个看似简单但影响深远的假设：预训练语料中的 token 对模型训练的贡献是极度不均匀的。

核心方法：选择性语言建模（Selective Language Modeling, SLM）

SLM 的流程分两步：

Token 评分：用一个已训练好的参考模型（reference model）对语料库中每个 token 计算 loss。高 loss 的 token 意味着参考模型也觉得「不好预测」——这些 token 蕴含了更多学习价值。
聚焦训练：训练时只对高分 token 计算梯度，低分 token 直接跳过。

传统预训练 vs Rho-1 的训练范式：

传统预训练：
  "The cat sat on the mat ."
  loss:  0.2  3.1  0.8  0.1  0.3  1.2  0.1
  梯度:  ✓    ✓    ✓    ✓    ✓    ✓    ✓
  → 对所有 token 均匀计算损失

Rho-1 (SLM)：
  "The cat sat on the mat ."
  score: low  HIGH low  low  low  MED  low
  梯度:  ✗    ✓    ✗    ✗    ✗    ✓    ✗
  → 只在"有信息量"的 token 上学习
  → 跳过 "The", "on", "the", "." 等模型已掌握的 token

实验结果——3% token 匹敌全量训练：

场景	基线	Rho-1	提升
数学 CPT (15B OpenWebMath)	DeepSeekMath (全量)	Rho-1-1B (3% token)	匹配性能
MATH 数据集 (1B 微调后)	—	40.6%	SOTA
MATH 数据集 (7B 微调后)	—	51.8%	SOTA
通用 CPT (80B token)	全量训练	选择性训练	15 任务平均 +6.8%

对实践的启示：

Rho-1 最具冲击力的结论不是数学任务上的 SOTA，而是那个 3% 的数字。它意味着：如果你有一个 1T token 的预训练语料库，其中可能只有 30B token 才是真正驱动模型能力提升的”有效 token”。传统做法让模型在其余 970B 个 token 上浪费算力去学习 “The cat sat on the mat” 这类几乎不增加模型能力的模式。这是一个巨大的效率机会——如果你能精确识别这 3%，预训练的计算成本可以显著降低。

二、Token-Level Filtering：GPT 之父 Radford 的能力塑形方案

”Shaping Capabilities with Token-Level Data Filtering” (Neil Rathi + Alec Radford, 2026)

如果说 Rho-1 证明了「不是所有 token 都值得学」，Radford 的这篇工作则进一步追问：如果我们有目的地移除某些 token，能精确地「塑造」模型的能力边界吗？

研究设计：以移除模型的医学领域能力作为代理任务（proxy task）——这是一个与 AI 安全高度相关的场景。如果能在预训练阶段就阻止模型获得某些危险能力（比如合成 CBRN 物质的知识），比事后的安全对齐更根本。

核心创新：Token > Document

文档级过滤 vs Token 级过滤的差异：

┌──────────────────────────────────────────┐
│ 文档内容（假设一篇健康博客）：            │
│                                          │
│ [通用] 保持健康的生活方式很重要。         │
│ [通用] 每天运动 30 分钟有助于心血管健康。 │
│ [医学] 二甲双胍的推荐剂量是 500mg bid。  │
│ [通用] 均衡饮食同样关键。                │
│ [医学] 肾功能不全时需要调整 GFR 阈值。   │
│ [通用] 充足睡眠可以提升免疫力。           │
└──────────────────────────────────────────┘

文档级过滤：
  → 这篇包含医学内容 → 整篇删除
  → 丢失了 4 句通用健康知识（附带伤害）

Token 级过滤：
  → 精确屏蔽"二甲双胍...500mg bid"和"GFR 阈值"
  → 保留其余 4 句通用内容
  → 能力移除效果相同，附带伤害更小

技术流程：

用稀疏自编码器（Sparse Autoencoders, SAEs） 分析模型内部表征，识别与目标能力相关的特征
将 SAE 特征蒸馏为轻量级 token 分类器
在预训练数据上逐 token 分类并过滤

实验结果——7000 倍能力抑制：

指标	Token 过滤	文档过滤
目标能力（医学）抑制效果	7000x 计算减速	较低
良性能力损害	更低	更高
规模效应	随模型增大效果增强	—
噪声鲁棒性	在足够计算量下对噪声标签鲁棒	—
对齐兼容性	过滤后仍可在目标领域对齐	—

所谓 7000 倍计算减速，意思是：经过 token 过滤训练的模型，要在医学领域达到未过滤模型同等能力，需要额外消耗 7000 倍的计算量。这是一个非常强的能力抑制效果。

对实践的启示：

这篇工作对预训练数据工程有两个层面的启示：

安全层面：它提供了一种比 Vol.20 讨论的 Safety Pretraining（文档级过滤 + 安全数据注入）更精细的方案。当你想移除 CBRN、极端仇恨等特定知识时，token 级过滤在「精确移除目标能力」和「保留通用能力」之间取得更好的帕累托前沿。

效率层面：SAE → 蒸馏分类器的流程提供了一种实用的 token 标注方法论。你不需要人工标注——训练一个 SAE，找到相关特征，蒸馏成 fastText 级别的分类器，就能在万亿 token 规模上运行 token 级过滤。这比 Rho-1 依赖参考模型逐 token 计算 loss 的方案在工程上更可行。

三、DataEvolve：让 AI 自己进化数据策展策略

”Data Darwinism Part II: DataEvolve — AI can Autonomously Evolve Pretraining Data Curation” (上海 AI 实验室 + 复旦, ACL 2026 投稿)

前两节讨论的是「用什么粒度操作数据」。DataEvolve 追问的是一个更根本的问题：数据策展策略本身，能不能由 AI 自主设计和优化？

背景：Data Darwinism Part I 的十级层次

DataEvolve 建立在 Part I 的理论基础之上。Part I（arXiv:2602.07824）提出了数据处理的十级层次体系（L0-L9），从原始采集到生成式合成，论证了「更高层级的数据处理能解锁更大的数据价值」。但 Part I 有一个根本限制：所有策略都是人工设计的。

现代预训练语料库包含数百个异质类别——学术论文、代码、医学文本、法律文档、社交媒体。每个类别的质量问题不同，最优清洗策略不同。在这个规模下，手动设计策略变得不可行。

DataEvolve 的进化循环

DataEvolve 的核心是一个对每个数据类别独立运行的四角色闭环进化系统：

DataEvolve 进化循环（每个数据类别 30 轮迭代）：

  ┌─────────────┐     ┌─────────────────┐
  │ Data Observer│────→│ Strategy Designer│
  │ (GPT-4o-mini)│     │    (o4-mini)     │
  │  100 文档/轮  │     │ 基于经验+反馈设计│
  └──────┬──────┘     └───────┬─────────┘
         │                     │
    ┌────┴────┐          ┌─────┴──────┐
    │经验池    │          │  策略池     │
    │(质量问题 │          │ (策略+评分  │
    │ 持续积累)│          │  自然选择)  │
    └────┬────┘          └─────┬──────┘
         │                     │
  ┌──────┴──────┐     ┌───────┴─────────┐
  │Quality Judge│←────│  Data Cleaner   │
  │ (gpt-5-mini)│     │ (gpt-oss-120b)  │
  │  50 对/轮    │     │  500 文档/轮     │
  └─────────────┘     └─────────────────┘

关键设计：
1. 经验池跨代积累已发现的质量问题
2. 策略池保存历代策略的评分和诊断
3. 最高分策略作为下一代的"父代"进行变异
4. 每轮采样不同文档防止过拟合

实验规模与结果

DataEvolve 在 Nemotron-CC 的 672B token（8 个学术类别）上运行，产出 Darwin-CC（504B token），约缩减 25%。

数据集	18 基准平均分	备注
原始数据（Raw）	40.17	基线
Ultra-FineWeb	36.29	人工设计
FineWeb-Edu	36.52	人工设计
DCLM	42.42	人工设计 + benchmark 竞赛
次优策略（Sub-opt）	41.20	第 1 轮策略
Darwin-CC（最优策略）	44.13	30 轮进化后

知识密集型任务的提升最为惊人：

任务	原始数据 → Darwin-CC	提升幅度
MMLU	27.49 → 46.13	+18.64
CommonsenseQA	20.31 → 39.12	+18.80
MedMCQA	28.86 → 40.97	+12.10
MedQA	26.77 → 40.25	+13.48

进化策略的收敛特征

一个值得关注的发现：8 个独立进化的类别策略趋同于清洗导向（cleaning-oriented），而非变换导向（transformation-oriented）。也就是说，AI 自主发现的最优策略是「精确去噪 + 格式规范化 + 领域感知保留」——去除 HTML 标签、导航菜单、广告、重复句、PII，同时保留 LaTeX 公式（STEM）、代码块（CS）、临床单位（医学）。

这意味着：在当前的数据处理技术水平下，系统性清洗的价值远大于花式改写。 DataEvolve 的进化过程独立地「重新发现」了 FineWeb 团队和 DCLM 团队的人工经验——但它做得更好，因为它能为每个类别定制策略。

对实践的启示：

DataEvolve 的最大意义不在于 Darwin-CC 超越了 DCLM（这个结论需要更多独立验证），而在于它证明了数据策展策略可以自动化。对于拥有大规模异质语料库的团队，手动为每个数据类别设计和调优清洗策略是一个巨大的人力成本。DataEvolve 的框架提供了一种可复制的替代方案：定义质量评估标准，然后让 AI 自主迭代。

但要注意一个潜在风险：DataEvolve 的质量评估完全依赖 LLM judge（gpt-5-mini），这引入了评估偏差。如果 LLM judge 系统性地偏好某种文本风格（比如更流畅但更浅层），进化出的策略可能在基准测试上表现优异，但在分布外场景下退化。这与 Vol.15 讨论的「数据评估偏差」问题一脉相承。

四、课程学习的学习动力学：一个被高估的方向？

“Curriculum Learning for LLM Pretraining: An Analysis of Learning Dynamics” (UMass Lowell, 2026)

在讨论完「选什么 token」和「让 AI 自己决定策略」之后，一个自然的问题是：数据的呈现顺序重要吗？ 这就是课程学习（curriculum learning）的核心问题。

直觉上，从简单到复杂的顺序应该有帮助——人类学习就是这样。但 Elgaar & Amiri 的这篇工作通过严格的学习动力学分析，给出了一个部分否定的答案。

实验设计：在 Pythia 模型系列（14M–410M 参数）上训练 300B token，对比三种语言学驱动的课程策略（习得年龄、词频、动词变化）与随机排序。

核心发现：

课程学习的效果与模型规模的关系：

模型规模    梯度噪声差异    谱饱和差异    课程收益
────────────────────────────────────────────────
14M-160M    显著↓↓↓         显著↓↓↓       ✓✓ 明显
  → 课程学习降低梯度噪声、缓解谱饱和
  → 在固定计算预算下提升最终性能

410M        小↓              小↓           ✓ 微弱
  → 模型自身容量足以应对随机排序的噪声
  → 课程收益趋于边际

1B+         微↓              ≈0            ≈0
  → 大模型的表示能力完全吸收了数据排序的差异
  → 课程学习几乎无效

最关键的洞察：无论使用哪种数据排序策略，训练过程都遵循相同的潜在学习阶段序列。课程学习不会创造新的学习路径——它只是在既定路径上稳定了优化过程。

对于小模型，这种稳定化是有价值的，因为小模型的梯度方差更大，容易在早期训练阶段发生振荡。但对于当前主流的 7B-70B 规模模型，模型的参数冗余足以自行吸收这些噪声。

对实践的启示：

如果你在做 7B+ 的预训练，把时间花在课程设计上的 ROI 可能很低。同样的工程精力投入到 token 级选择（Rho-1 风格）或自动化策展（DataEvolve 风格），收益要高得多。

但这个结论有一个例外：Vol.12 讨论的「LR 衰减与数据课程的冲突」问题（How Learning Rate Decay Wastes Your Best Data, ICLR 2026）指出，如果你在 cosine decay 的末期才呈现高质量数据，低学习率会浪费这些数据的价值。所以不是「顺序完全不重要」，而是「在 LR 衰减约束下，好数据应该在 LR 还高的时候呈现」——这更像一个工程约束，而不是课程学习理论承诺的那种系统性收益。

五、Token 级操作的开源工具生态

Token 级数据选择和过滤正在从论文走向工程化。以下是当前可用的工具和框架：

工具/方法	粒度	机制	状态	链接
Rho-1 SLM	Token	参考模型 loss 评分	开源 (微软)	GitHub
Token Cleaning	Token	噪声标签视角的 token 质量评估	开源 (UCSC)	GitHub
TOSS	Token	双模型 loss 差异量化安全风险	开源 (ICLR 2026)	GitHub
DataEvolve	文档 + 自动化	AI 进化策略设计	开源 (上海 AI 实验室)	GitHub
Darwin-CC	—	DataEvolve 产出的 504B token 数据集	开放	HuggingFace
datatrove	文档	HuggingFace 的数据管线框架	开源	GitHub
NeMo Curator	文档	NVIDIA 的数据策展工具	开源	GitHub

值得关注的趋势：当前 token 级工具主要面向研究场景（小规模验证），在万亿 token 工业级管线中的部署仍有工程挑战。核心瓶颈是 token 分类器的推理成本——对 1T token 逐一分类的计算量不可忽视。Radford 的 SAE 蒸馏方案和 Token Cleaning 的噪声标签方法提供了两种降低成本的思路，但距离「开箱即用」还有距离。

本期思考

回看本期讨论的四组工作，一个宏观叙事浮现了：预训练数据工程正在从「粗放型」走向「精密型」。

第一，粒度下探带来效率跃升。 Rho-1 用 3% token 匹敌全量训练，这不是边际优化——这是数量级的效率提升。如果这个结论在更大规模上成立（需要更多验证），它意味着当前的预训练实践在数据利用率上有 10-30 倍的改进空间。即使打个折，5 倍的效率提升也是巨大的。

第二，自动化正在取代人工设计。 DataEvolve 证明了 AI 可以自主发现和优化数据策展策略，且产出超越了人类精心设计的 DCLM 和 FineWeb-Edu。这不意味着人类数据工程师要失业——DataEvolve 仍需要人类定义评估标准和约束边界。但「具体的清洗规则由谁来写」这个问题的答案，正在从人类转向 AI。

第三，课程学习被降级了。 在大模型规模下，数据呈现顺序的影响被模型容量吸收。这意味着：与其花时间设计复杂的课程策略，不如把精力投入到「选什么 token」的问题上。

给数据工程团队的行动清单：

本周可做：在你的持续预训练管线中尝试 Rho-1 风格的选择性训练。用一个小参考模型对语料 token 评分，只在 top-k% 的 token 上计算梯度，观察在固定计算预算下性能是否提升

本月可做：评估 DataEvolve 框架对你的数据管线的适用性。克隆 GitHub 仓库，在一个小数据类别上跑 10 轮进化，看自动生成的策略是否比你手写的清洗规则更好

本季度规划：建立 token 级数据质量信号的基础设施。训练一组 SAE（参考 Radford 的方法），理解你的数据中哪些 token 真正驱动模型能力——这是未来实施 token 级选择和过滤的前提

关注但不急于采纳：课程学习。除非你的模型规模 < 1B，否则投入产出比有限。把同样的工程精力用在 token selection 上

下期预告：预训练数据管线的工程实践——从 datatrove 到 NeMo Curator，构建万亿 token 级数据管线的架构设计、性能优化和监控体系