DataEvolve：让 AI 自己决定怎么清洗训练数据

做过预训练的人都知道数据策略有多难：不同类型的网页数据（代码、学术文章、新闻、论坛）需要不同的过滤逻辑，规则一旦写死就很快过期，而手工调参的代价在数百亿 token 的规模上变得难以承受。

DataEvolve 这篇论文给出了一个有意思的答案：让 AI 自己把策略演化出来。

问题背景：数据策略的维度爆炸

上海 AI Lab 和复旦大学的团队在他们的 Data Darwinism 系列里做了一个分层框架：数据处理有 10 个层级，层级越高越能挖掘数据价值。第一部分（Part I）证明了强力处理确实有效，但那套方案是针对单一数据类别手工设计策略，到 Part II 时遇到了现实问题——

现代预训练语料库包含数百个异构类别。 每个类别都有独特的噪声模式、独特的质量标准、独特的内容特征。给每个类别手工写策略，再迭代验证，在 500B token 的规模上根本跑不通。

现代预训练语料库包含数百个跨域、跨内容类型的异构类别，每个类别都需要专门处理。在这种规模下，手工策略设计已经无法实现。 — DataEvolve 论文 abstract，arXiv:2603.14420

DataEvolve 的核心机制

框架的思路是把策略设计变成一个闭环进化过程：

1. 识别质量问题：对每个数据类别采样，分析当前数据里存在什么问题（噪声、格式混乱、内容低质）
2. 生成候选策略：基于发现的问题，自动生成数据清洗和筛选的候选方案
3. 执行与评估：在采样数据上跑候选策略，评估质量变化
4. 跨代精化：把经验积累进两个 pool——一个记录发现的问题，一个跟踪策略表现

这个过程对 Nemotron-CC 数据集的 8 个类别（覆盖 672B token）各自独立跑了 30 轮迭代，最终产出 Darwin-CC：504B token，每个类别都有 AI 自主演化出来的清洗策略。

数字说话

拿 Darwin-CC 训练一个 3B 模型（500B token），在 18 个 benchmark 上的平均分：

• vs 原始数据：+3.96 分
• vs DCLM：超越
• vs Ultra-FineWeb：超越
• vs FineWeb-Edu：超越
• 知识密集型任务（MMLU 等）提升最为明显

消融实验里有一个值得关注的细节：优化后的策略 vs 次优策略，差距高达 2.93 分。说明”让 AI 自主演化出来的策略”和”随机手工写的策略”之间有真实且显著的质量鸿沟。

演化出来的策略长什么样

这部分很有意思。论文分析了演化后策略的聚合趋势——它们收敛到了一个共同方向：清洗优先，而不是筛选优先。

具体来说是：

• 有针对性的噪声去除（targeted noise removal）：不是粗暴过滤低质文档，而是识别文档内部的噪声片段
• 格式规范化并保留领域特征（format normalization with domain-aware preservation）：统一格式，但保留对该领域重要的特殊结构

这与 Data Darwinism Part I 里的 L4 层级（Generative Refinement，生成式精化）原则一致——比简单过滤更主动地处理数据。

为什么这是方法论的范式变化

过去几年里，数据工程的进步路径基本上是：

• FineWeb：更好的启发式规则
• DCLM：更系统的过滤实验
• FineWeb-Edu：质量分类器

这些都是人设计策略，机器执行的模式。DataEvolve 翻转了这个范式：人设计框架，机器演化策略。

从实际工程角度看，这意味着一件事：数据策略的质量上限，不再被团队里人工标注和调参的工时所约束，而是被进化框架的搜索效率和评估信号所决定。

这不是”自动化了无聊的部分”，而是把策略发现这个本身需要深度专业判断的环节外包给了模型。

如果这个方向成立，下一步自然是：把 DataEvolve 的外循环接上更强的评估模型，让它在更多类别、更多 token 上跑——数据工程的护城河正在从”谁有最好的数据标注团队”转向”谁有最好的策略搜索框架”。

来源：Tiantian Mi 等，Data Darwinism Part II: DataEvolve，上海 AI Lab / 复旦大学，2026 年 3 月 15 日