数据工程观察 · Vol.3

从手工作坊到自动化：预训练数据工程的范式跃迁

深度解读数据策展自动化的四篇前沿论文——DataEvolve、DataDecide、DataMan、质量感知 Scaling Laws，以及 EU 版权新规对数据工程的深远影响

数据策展自动化 Scaling Laws 数据质量 DataEvolve 版权合规 RLPT

本期主题：预训练数据工程的”自动驾驶”时代来了吗？

过去两年，预训练数据工程经历了一轮认知升级：从”数据越多越好”到”数据质量决定上限”。但一个更深层的问题正在浮出水面——我们如何系统性地、可量化地、甚至自动化地做好数据策展（data curation）？

过去的做法高度依赖人类直觉和经验：手写过滤规则、凭感觉调配比、靠 benchmark 反馈迭代。这种”手工作坊”模式在数据规模突破万亿 token 后已经捉襟见肘。本期聚焦的几篇论文，正在从不同维度推动数据工程走向自动化和科学化。

重点论文解读

1. “Data Darwinism Part II: DataEvolve” (arXiv, 2026.03)

核心发现：

这篇来自上海交通大学的论文提出了一个让人兴奋的框架：让 AI 自主”进化”数据策展策略。作者称之为”数据达尔文主义”，核心思想是：

  • 现代预训练语料包含数百个异构数据类别（新闻、百科、论坛、代码、学术论文……），为每个类别手动设计清洗策略已经不现实
  • DataEvolve 为每个数据类别建立一个进化循环：识别质量问题 → 生成候选处理策略 → 在采样子集上执行 → 评估效果 → 迭代优化。每个类别跑 30 轮迭代
  • 框架维护两个核心”池”——经验池（记录发现的质量问题）和策略池（追踪各策略的表现），实现知识积累

实验结果令人信服：在 Nemotron-CC 的 672B tokens 上应用 DataEvolve，生成了 504B tokens 的 Darwin-CC 数据集。用 3B 参数模型在 500B tokens 上训练，Darwin-CC 在 18 个 benchmark 上平均分达到 44.13，比原始数据提升 +3.96 分，超过了 DCLM、Ultra-FineWeb 和 FineWeb-Edu。

消融实验进一步确认：进化后的最优策略比次优策略高 2.93 分——说明这不是随机搜索的运气，迭代进化确实在发挥作用。

对实践的启示：

DataEvolve 的意义不仅在于具体的分数提升，更在于它示范了一种数据策展的工程范式转变：从人工设计规则到 AI 自主搜索最优策略。对数据团队的启发是：

  1. 按类别分治：不要用一套规则处理所有数据，每个领域/类别应有独立的清洗策略
  2. 建立评估闭环：策略设计不能是一锤子买卖，必须有持续的评估和迭代机制
  3. 经验可复用：把历次迭代中发现的问题和有效策略记录下来，构建团队的”数据策展知识库”

2. “DataDecide: How to Predict Best Pretraining Data with Small Experiments” (ICML 2025)

核心发现：

这篇来自 Allen AI 的论文解决了一个关键的工程问题——如何在不烧掉大量算力的前提下，预测哪份数据集训练效果最好？

  • 团队在 25 个不同语料库上训练了模型（最大 1B 参数 / 100B tokens），建立了目前最全面的数据-规模对比基准 DataDecide
  • 关键发现 1：在小规模（150M 参数）上的排名表现，在 ~80% 的比较中能正确预测 1B 模型的最终排名。小实验确实有效
  • 关键发现 2：测试的 8 种 scaling law 方法，没有一种能在计算效率前沿上超过简单的单尺度排名预测。复杂的 scaling law 拟合未必比”直接看小模型排名”更靠谱
  • 关键发现 3：使用连续似然指标（而非下游任务分数）做代理，可以在仅使用目标算力的 0.01% 的情况下，在 MMLU、ARC、HumanEval 等多个 benchmark 上实现 >80% 的预测准确率

对实践的启示：

这篇论文给数据团队提供了一套高效的数据评估方法论：

数据评估流水线（推荐）：
┌─────────────────────────────────────────────┐
│ Step 1: 训练 150M 代理模型 (≈ 目标算力 0.01%)  │
│ Step 2: 计算验证集上的 log-likelihood          │
│ Step 3: 按 likelihood 排序选择最优数据配置       │
│ Step 4: 在目标规模上验证 top-1 ~ top-3          │
└─────────────────────────────────────────────┘

别再盲目跑大规模对比实验了。先用小模型 + 似然指标做快速筛选，再把算力集中在最有希望的候选方案上。

3. “Scaling Laws Revisited: Modeling the Role of Data Quality” (ICLR 2026)

核心发现：

传统 Scaling Laws（Chinchilla 等）只考虑模型大小 NN 和数据量 DD。这篇论文的核心贡献是引入了第三个维度——无量纲的数据质量参数 QQ，建立了 Loss = f(N, D, Q) 的质量感知 Scaling Law。

  • QQ 的物理意义：反映数据的信息密度。高质量数据 QQ 值高，噪声数据 QQ 值低。QQ 调节了”有效数据量”——低质量数据等价于减少了有效训练样本数
  • 关键发现：有效数据量随质量下降呈次线性衰减，即质量损失带来的伤害比线性预期更大
  • 好消息：模型对中等程度的数据损坏有一定鲁棒性——不必追求完美，但要避免严重的质量缺陷
  • 核心推论：高质量数据可以显著减少达到特定性能所需的模型大小。换言之，投资数据质量比投资算力的 ROI 更高

论文通过在机器翻译和自回归建模任务上注入不同级别噪声的合成实验验证了理论预测。

对实践的启示：

这篇论文终于给了一个量化框架来回答”数据清洗到底值不值得”这个问题：

  • 如果你的数据质量 QQ 从 0.7 提升到 0.9，等效效果可能相当于数据量翻倍
  • 数据清洗的优先级应该是：先消除严重缺陷（效果最大），再逐步提升整体质量
  • 建议建立 QQ 的度量体系——哪怕是近似的，也比完全没有量化好得多

4. “DataMan: Data Manager for Pre-training Large Language Models” (ICLR 2025)

核心发现：

这篇来自浙大和阿里千问团队的论文，构建了一套系统化的多维数据质量评估框架：

  • 传统方法用 perplexity 或简单分类器打分（参见上一期的讨论），DataMan 另辟蹊径：从导致 PPL 异常的原因中逆向推导出 14 个质量标准，同时识别 15 个应用领域
  • 训练了一个专门的”数据管理器”模型，在 4470 亿 tokens 的语料上进行多维度标注
  • 使用 DataMan 选出的 30B tokens 训练 1.3B 模型，性能超过了使用 50% 更多数据（均匀采样）训练的模型
  • 重要发现：14 个质量标准之间具有互补性，且与 perplexity 的相关性较低——说明 PPL 确实无法捕捉数据质量的全貌

对实践的启示：

DataMan 提供了一个将数据质量评估”产品化”的思路：

  1. 多维度打分：不要只看一个指标，建立覆盖语言质量、逻辑连贯性、信息密度、领域相关性等多维度的评分体系
  2. 质量标注即资产：对语料进行系统性标注后，标注结果可以反复用于不同的训练配置实验
  3. PPL 不是万能的：PPL 低不代表好数据，PPL 高不代表坏数据。要结合多维标准综合判断

新训练范式：从预训练数据中”挖金子"

"Reinforcement Learning on Pre-Training Data (RLPT)” (arXiv, 腾讯混元)

这篇论文提出了一个颠覆性的想法：用强化学习从预训练数据中挖掘更多价值，而不是简单地增加数据量。

  • 核心方法：设计了 next-segment reasoning 目标——给定前文，奖励模型准确预测后续文本段落。与传统 SFT 不同，RLPT 让模型自主探索有意义的推理轨迹
  • 无需人工标注：奖励信号直接从预训练数据中导出，不依赖 RLHF 需要的人工偏好标注
  • 以 Qwen3-4B-Base 为基础模型的提升：
    • MMLU +3.0 / MMLU-Pro +5.1 / GPQA-Diamond +8.1
    • AIME24 +6.6 / AIME25 +5.3
  • RLPT 不仅增强了基础能力，还为后续 RLVR（基于可验证推理的 RL）提供了更好的起点

对实践的启示：

RLPT 本质上是在回答一个问题：当数据量增长放缓时，如何从现有数据中学到更多？这对数据工程团队意味着：

  • 数据工程的边界正在扩展——不仅是”准备好的数据”，还包括”如何使用数据”的训练策略
  • 对于同一份语料，不同的训练方式（SFT vs RL）可以提取出不同层面的信息
  • RLPT 与高质量数据策展是互补的：数据质量越高，RL 能挖掘的价值空间越大

版权合规：EU 亮出”杀手锏”

2026 年 3 月，AI 训练数据的版权合规进入了一个新阶段。两个重大动态值得数据工程团队高度关注：

EU JURI 报告：训练数据必须”逐项披露”

欧洲议会法律事务委员会（JURI）于 2026 年 2 月 25 日发布的报告提出了迄今最强硬的透明度要求：

要求具体内容影响
逐项清单必须列出训练中使用的每一项受版权保护的内容不再是类别级别的说明
覆盖全链路不仅是训练阶段，还包括推理和 RAG影响范围大幅扩展
举证责任倒置未披露即推定侵权”黑箱”模式不再可行
费用承担败诉方承担全部合理法律费用提高了维权方的诉讼意愿
域外效力无论训练在哪里进行，只要在 EU 市场投放没有”避风港”

美国 Bartz v. Anthropic 和解：15 亿美元的代价

Norton Rose Fulbright 的汇总显示，2026 年美国 AI 版权诉讼出现了关键判例：

  • Bartz v. Anthropic：法院认定训练本身是”合理使用”，但存储盗版数据不是。案件以 15 亿美元和解，要求销毁盗版数据集
  • Kadrey v. Meta：另一法院对同类问题持不同意见，即使数据来源是盗版，训练仍可能构成合理使用
  • 美国最高法院拒绝审理 Thaler v. Perlmutter，确认纯 AI 生成内容不可获得版权保护

对数据工程的影响：

版权合规不再是法务团队的”远期风险”，而是数据工程的即时约束。实操建议：

  1. Data Provenance 是底线：为每个文档记录来源 URL、许可证信息、获取时间
  2. 分级管理：区分 Public Domain / CC / Fair Use (争议) / 版权保护 四个级别
  3. 做好 EU 合规准备：如果模型可能在 EU 市场使用，现在就开始建立逐项训练数据清单
  4. 数据获取方式同样重要：Bartz 案的教训——即使训练本身合规，数据的获取和存储也必须合法

本期思考

预训练数据工程正在经历一场深刻的范式跃迁。 过去两年，我们完成了从”量大就是好”到”质量为王”的认知升级。而 2026 年的这一波论文暗示着下一个阶段：自动化和科学化。

DataEvolve 让 AI 自己设计数据清洗策略；DataDecide 用小实验替代大规模 A/B 测试；Scaling Laws Revisited 给出了量化数据质量价值的理论框架；DataMan 把单维 perplexity 扩展为多维质量评估体系；RLPT 甚至在重新定义”如何用好数据”。

与此同时，版权合规正在给数据工程加上硬约束——EU 的逐项披露要求，意味着”先用了再说”的时代彻底终结。

如果说 2024 年数据工程的关键词是”质量”，2025 年是”效率”，那 2026 年可能是 “自动化 + 合规”。能够在这两个方向上同时做好的团队，将在下一轮模型竞赛中占据不可替代的位置。

下期预告：多语言预训练数据质量评估 + 数据配比的理论与实验方法论