预训练还是一门玄学——daVinci-LLM 想改变这件事

上交 GAIR 实验室发布完全开放的预训练研究项目 daVinci-LLM，用 Data Darwinism L0-L9 框架和 200+ 消融实验，第一次系统化地把预训练数据处理从经验变成科学。

数据工程 预训练 数据工程 Data Darwinism 消融实验 开源

预训练还是一门玄学——daVinci-LLM 想改变这件事

大多数 LLM 的预训练细节都藏在公司内部。你能看到的，是 blog 里几张漂亮的 loss 曲线和 benchmark 表格，以及一句 “我们精心策划了高质量数据集”。

这不是科学。这是营销。

3 月底，上海交通大学 GAIR 实验室发布了 daVinci-LLM，一个把”完全开放预训练过程”当作科学方法论的项目。他们不只发布模型权重——他们发布数据处理 pipeline、完整训练过程、所有消融实验结果，包括那些失败的。

它解决的是什么问题

论文开头的判断很直接：

“预训练阶段决定了模型的能力天花板，后训练很难突破预训练建立的基础，但这个阶段依然严重缺乏系统化研究。” — daVinci-LLM 论文，arXiv:2603.27164

这里有一个结构性悖论：有算力的公司有商业压力，不会公开；有研究自由的学术机构没有工业规模的算力。daVinci-LLM 的核心主张是占领这个交叉点——工业规模的资源 + 完整的研究自由。

Data Darwinism：L0 到 L9

这篇论文最有价值的贡献，是给预训练数据处理提供了一套命名系统：Data Darwinism，一个从过滤到合成的 L0-L9 分类法。

把它想成 10 个层级的数据”进化压力”：

  • L0-L2：基础过滤层——去重、语种识别、低质量文本清洗
  • L3-L5：质量筛选层——教育价值评分、领域相关性过滤、格式规范化
  • L6-L8：内容增强层——知识密度提升、多样性平衡、难度梯度调节
  • L9：合成层——从现有数据生成新的训练样本

他们用 3B 参数模型在 8T token 上训练，覆盖两阶段课程：先打基础能力，再做推理密集型增强。200+ 个受控消融实验，逐层验证每个处理决策的效果。

四个核心发现

1. 处理深度是与数据量同等重要的维度。不是数据越多越好，而是”处理越深越好”——直到你达到那个层级的饱和点。

2. 不同领域有不同的饱和动态。代码数据可以一直往里加，数学推理数据在某个密度后反而会引发其他能力下降。没有万能配方，每个领域需要自己的策略。

3. 组合平衡才能做定向强化。你不能只是加大某类数据的比例，这会导致”性能崩塌”（他们称之为 performance collapse）。需要先建立组合基准，再做定向强化，同时监控其他指标。

4. 评测协议本身塑造了你对预训练的理解。这是最容易被忽视的一点：你用什么 benchmark 衡量预训练效果，会影响你对”什么数据有用”的判断。评测框架不中立。

为什么这件事现在才发生

一个原因是算力成本下降使工业规模实验进入学术界。另一个原因是社区开始意识到，现在发布的大多数技术报告提供的是”结果”而不是”方法”——你无法复现，也无法继续推进。

daVinci-LLM 的 GitHub 仓库 (GAIR-NLP/daVinci-LLM) 承诺发布”所有东西，包括失败的实验”。这是一个反常识的承诺——在学术界，失败的实验通常是被藏起来的。

Data Darwinism 框架是否会成为行业标准还不确定，但它至少给了一件事：一套可以讨论、可以引用、可以反驳的语言。预训练数据处理第一次有了系统化命名。

这比又一篇”我们用了 8T 高质量 token”的技术报告有价值得多。