daVinci-LLM：把预训练数据当成一门科学来做

预训练是 LLM 能力的天花板。这句话大家都知道，但关于「怎么做预训练数据」的系统性知识却少得可怜。

原因是一个结构性矛盾：有算力的大公司有商业压力，不会把数据管道全部公开；有研究自由的学术机构没有 pretraining 规模的算力。两者都无法独立填补这个知识空白。

3 月底，一篇叫 daVinci-LLM 的论文试图同时解决这两个问题。

“daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining.” — arXiv:2603.27164

他们做了什么

用 8T tokens 从头训了一个 3B 参数模型，做了 200+ 次受控消融实验，然后把所有东西——数据处理 pipeline、训练过程、系统探索结果——都公开了。

采用两阶段 adaptive curriculum：第一阶段打基础能力，第二阶段偏向 reasoning 密集的数据。

核心贡献不是模型本身，而是这一套 Data Darwinism 框架：一个从 L0 到 L9 的分类法，覆盖从最基础的过滤到合成数据生成的全部处理深度。

Data Darwinism：把处理深度当成一个维度

这个框架的核心洞察：数据质量不只是「数量」，还有「处理深度」。

L0 是原始数据，不做任何处理。L9 是完全合成、针对特定能力生成的数据。中间是各种层次的过滤、清洗、格式转换、多样性增强。

他们的 200+ 消融实验发现了几个具体结论：

1. 处理深度和数据量同等重要。不是堆更多原始数据就好，在同等 token 数量下，处理更深的数据可以系统性地提升能力。
2. 不同领域有不同的饱和曲线。代码数据很早就饱和，需要从 proportion 调整转向格式变换；数学数据和推理数据饱和更晚。不能用一套统一策略处理所有领域。
3. 组合平衡（compositional balance）防止 collapse。如果过度强化某一类能力数据，会导致其他能力下降——他们叫做 performance collapse。平衡不只是避免偏差，而是主动防止退化。
4. 评估协议的选择影响对预训练进展的理解。用不同的 benchmark 来衡量同一个训练过程，得到的结论可能截然相反。这是一个容易被忽视的元问题。

为什么现在值得关注

预训练数据研究一直处于「知道重要但没有系统知识」的状态。

现有的公开工作大多是 fine-tuning 数据、instruction tuning 数据、RLHF 数据。pretraining 数据几乎没有系统性公开研究——The Pile、Dolma 这类工作是数据集发布，不是系统的处理方法论探索。

daVinci-LLM 的 L0-L9 框架，加上 200+ 消融的具体发现，是目前为止最接近「预训练数据工程手册」的公开研究。

当然，局限也很明显：3B 参数模型的结论不一定 scale 到 70B 或者 400B。他们的 8T token 对现在的前沿来说也不算大（GPT-4 估计用了 10T+）。但方法论本身——把数据处理深度作为系统变量来研究——可以在更大规模上复现。

对实践的启发

如果你在做自己的 LLM 训练或 continual pretraining：

• 不要只关注数据量，要关注数据的「处理层次」
• 不同领域设计不同的饱和策略，而不是统一的 data mix
• 做好评估协议设计，不同 benchmark 对应不同维度的能力，不要用单一 benchmark 评价预训练效果

预训练数据的科学化研究还处于早期。这篇论文最大的价值不是结论，而是提供了一套可复现的探索方法。

对预训练感兴趣的话，PDF 在这里。