预训练第一次有了 200 次受控实验：daVinci-LLM 的开放科学方法论

我们对预训练的理解，大部分来自商业公司不完整的技术报告，以及少数「有资源但保密」的学术合作。这造成了一个奇怪的局面：这个领域越来越重要，但系统性的实验知识却越来越难积累。

daVinci-LLM 想解决这个结构性矛盾。

问题的根源：结构性悖论

上海交通大学和 GAIR-NLP 实验室在 3 月底发布的 daVinci-LLM 论文，开篇就点出了这个悖论：

“Organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources.” — daVinci-LLM，arXiv:2603.27164

有资源的不能说，能说的没资源。daVinci 的定位就是占据这个没人去的交叉点：用工业规模的计算资源，但完全按照开放科学的范式运行。

他们的操作方式是：训练 3B 参数模型从随机初始化开始、跑完 8T tokens——然后把数据处理流水线、训练过程、200+ 受控消融实验结果、以及失败实验全部公开。

Data Darwinism：L0 到 L9 的数据处理分类

论文的核心框架叫 Data Darwinism，把数据处理的「深度」分成 L0 到 L9 十个层级：

• L0：原始互联网抓取，没有任何处理
• L1-L3：规则过滤（语言识别、长度过滤、文档级去重）
• L4-L6：质量过滤（困惑度打分、分类器过滤、语义去重）
• L7-L8：内容转换（格式标准化、跨文档整合）
• L9：合成生成（从其他数据合成新训练数据）

这个分层本身不新鲜——大家多少都在做这些事。新鲜的是系统实验：他们控制变量，逐层测试每个处理深度对下游任务的影响。

他们的第一个核心发现：

处理深度是独立于数据规模的第二个扩展轴。 你多加 10 倍数据，或者把同样的数据从 L3 处理到 L7，能带来相近量级的能力提升。这意味着「数据少但处理好」不一定输给「数据多但处理粗」。

两阶段 Adaptive Curriculum

除了数据处理，论文还系统测试了训练课程的设计。他们用的是「两阶段自适应课程」：

第一阶段训练基础能力（大量通用语料），第二阶段逐步迁移到推理密集型数据（数学、代码、科学论文比例上升）。

关键发现是：不同领域的数据有不同的饱和曲线。 代码数据在 ~1T tokens 后边际收益快速下降；数学数据的饱和点更晚；通用语言理解数据几乎不会饱和。这意味着一个固定的数据混合比例在全程都是次优的——你需要根据当前训练进度动态调整各领域比例。

他们还发现了一个反直觉的结论：在第二阶段突然大幅增加高质量数据比例，会导致性能坍塌。原因是模型「遗忘」了第一阶段习得的通用能力。他们的解法是「成分平衡」（compositional balance）——任何强化都需要配合「保持通用能力的背景数据」一起喂。

200 次消融实验能告诉我们什么

论文的另一个价值不在结论，在方法：他们跑了 200+ 次受控消融。每次改一个变量，记录结果。

这对社区的意义是：以前每家公司都有自己的私有实验结果，没法互相印证。现在有一套公开的、系统性的实验基准可以参照。你在自己的预训练里遇到某个问题，可以找到最接近的实验参数，看 daVinci 当时的结果。

他们特别强调的一点：评估协议的选择会影响对预训练进展的判断。 比如用 0-shot 还是 few-shot、用哪个 benchmark、在什么 checkpoint 评估——这些选择会产生截然不同的结论，而业界对此没有共识。

3B 模型在 8T tokens 上的结果

最终，这个 3B 参数模型的整体平均得分是 51.72，与 OLMo-3（7B 参数）相当。

这个比较本身说明了一件事：在相同的算力预算下，花更多精力在数据处理和训练策略上，比单纯堆参数更有效。一个处理精良的 3B 模型可以打平一个「数据随意」的 7B 模型。

这也和今年越来越多的工程实践共识对齐：模型能力天花板在预训练期间就已经决定，post-training 的边际收益远低于预训练数据质量的提升。

daVinci-LLM 本质上是在做一件「公共品」——建立一套预训练领域的系统实验基础，让后来者可以积累而非重复。这类工作的价值往往不在单篇论文本身，而在它建立的方法论框架能否被后续研究引用和扩展。从论文结构和数据开放程度来看，这是目前预训练科学化方向走得最远的一次尝试。