数据工程观察 · 2026年05月13日

引言

本期数据工程观察聚焦一个正在快速崛起的训练阶段——中训练（Mid-training）。长期以来，LLM 训练被简化为”预训练→后训练”两阶段范式，但近期密集出现的研究表明：预训练与后训练之间插入一个精心设计的中训练阶段，能够以相对极小的数据预算（27B token vs 预训练 15T+ token）撬动巨大的性能提升。Anthropic 的 Model Spec Midtraining 证明中训练可以塑造模型的对齐泛化方向；Meta 的 Thinking Mid-training 实现推理能力 3.2 倍提升；IBM PRISM 首次系统性解构中训练设计空间；而自生成数据中训练则开辟了数据多样性的新路径。中训练正在从”可选增强”变为”必要环节”，其数据工程问题——配比、合成、筛选、验证——正成为新的核心挑战。

---

Anthropic Model Spec Midtraining：合成规范文档重塑对齐泛化

事件概述

Anthropic 于 2026 年 5 月发布 Model Spec Midtraining（MSM）研究（arXiv:2605.02087），在预训练与对齐微调之间插入一个新阶段：让模型学习讨论其 Model Spec（行为规范）的合成文档。该研究发现，相同的对齐微调数据配合不同的 Model Spec 中训练，能让模型泛化出截然不同的价值观和行为模式——MSM 将 Qwen3-32B 在模拟威胁场景下的失控率从 54% 降至 7%，Qwen2.5-32B 从 68% 降至 5%。

技术细节

MSM 的核心设计分为三步：（1）预训练完成后，构建多样化的合成文档语料，内容围绕 Model Spec 的原则与意图展开讨论；（2）在此语料上继续训练模型，使其内化规范背后的”是什么”和”为什么”；（3）随后进行标准的对齐微调，教模型”如何践行”这些原则。关键的实验发现是：仅靠对齐微调的示范数据欠规范化（underspecify）了预期的泛化方向——同一份微调数据，搭配不同 Model Spec 中训练，模型在艺术、交通、经济政策等无关领域展现出完全不同的立场倾向。代码与评估框架已开源（github.com/chloeli-15/model_spec_midtraining）。

对大模型数据工作的影响

MSM 揭示了一个深层问题：对齐数据不仅需要定义”做什么”，更需要定义”为什么这样做”。这对数据工程意味着（1）中训练阶段的合成文档语料成为新的数据生产需求——如何高效生成多样化、语义丰富的规范讨论文档；（2）Model Spec 的编写本身变成数据工程任务，其措辞、结构、覆盖范围直接影响模型行为；（3）对齐数据流水线需要从”两阶段”扩展为”三阶段”，中训练数据的质量评估标准尚属空白。MSM 为中训练数据工程开辟了一个全新的设计维度。

---

Meta Thinking Mid-training：RL 驱动的推理中训练，3.2 倍性能提升

事件概述

Meta AI（RAM 团队）提出 Thinking Mid-training 方法，在预训练与后训练之间引入推理增强中训练阶段。该方法通过三阶段流水线——数据思考增强、SFT 中训练、RL 中训练——在 Llama-3-8B 上实现推理性能 3.2 倍提升，且改善效果在后续 RL 后训练中持续累积。

技术细节

Thinking Mid-training 的核心创新是将推理能力的培养前移至中训练阶段。具体流程为：（1）数据思考增强：将预训练语料切分为块，用标注模型在语义适当位置插入中间推理步骤（thought tokens），生成增强语料 $\tilde{\mathcal{D}}$；（2）SFT 中训练：在半数增强语料上进行下一 token 预测训练，损失覆盖原始文本和插入的思考 token，模型在 10B token 上获得 4.7 倍基线提升；（3）RL 中训练：在另一半增强语料上，将每块分为前缀和后缀，模型生成思考 token 后预测后缀，由 LLM Judge 给出二值奖励，使用 DrGRPO 算法优化，达到 9 倍基线提升。关键发现是 RL 中训练比 SFT 中训练具有更好的数据效率——8.7B token 的 RL 中训练表现优于 10.5B token 的 SFT 中训练。

对大模型数据工作的影响

Thinking Mid-training 重新定义了”推理数据”的生产范式：（1）推理数据不再仅是后训练阶段的 SFT/RL 数据，而是从中训练开始注入——数据工程需要覆盖全训练流水线的推理数据设计；（2）“思考增强”本质是一种数据合成方法，其插入位置、推理深度、与原文的一致性都是新的数据质量控制维度；（3）RL 中训练的奖励信号设计（LLM Judge 评估生成后缀 vs 真实后缀的语义相似度）为数据验证提供了新思路；（4）3.2 倍的累积增益表明中训练与后训练之间存在协同效应，数据工程需要整体优化而非分段优化。

---

IBM PRISM：首次系统性解构中训练设计空间

事件概述

IBM 研究院发布 PRISM（arXiv:2603.17074），这是首个大规模、系统性的中训练设计选择实证研究。通过对 Granite、LLaMA、Mistral、Nemotron-H 四大模型家族、3B 到 24B 参数规模、Dense Transformer 和 Attention-Mamba Hybrid 两种架构的 500+ 受控实验，揭示了中训练的核心机制与最优实践。

技术细节

PRISM 的核心发现包括：（1）27B 高质量 token 的中训练即可在数学基准上获得 +15 到 +40 分、代码 +5 到 +12 分、科学 +6 到 +13 分的提升，同时保持通用性能不退化；（2）数据配比至关重要——在中训练配方中加入科学数据使推理性能额外提升 3-6 分，而同样的调整在 RL 阶段几乎无效；科学数据在 GPQA-Diamond 上可额外解锁 17-28 分；（3）中训练与 RL 的机制根本不同——中训练重构 >90% 的模型权重，RL 仅修改约 5% 的参数；中训练的权重变化分布广泛且跨层，RL 的变化集中在前 200-400 步；（4）以 Granite-3.3-8B 为例，基线 pass rate 16.9% → 中训练后 75.5% → RL 后 79.5%，中训练教会了模型”展示推理过程”。IBM 已将中训练流水线开源。

对大模型数据工作的影响

PRISM 对数据工程的影响是结构性的：（1）27B token 的数据预算意味着中训练数据是”精品数据”而非”海量数据”——数据质量、配比、排序的每一步决策都会被放大；（2）“科学数据在中训练有效但在 RL 无效”说明不同训练阶段需要不同的数据设计策略，不能用同一套数据配比通吃全流程；（3）中训练重构 90% 权重的事实意味着数据工程的影响远超”微调”范畴，错误的中训练数据可能导致灾难性后果；（4）开源的流水线为社区提供了标准化的中训练数据工程基准，但不同模型家族的最优数据配方仍需逐案探索。

---

自生成数据中训练：Polya 问题求解框架驱动多样性

事件概述

arXiv:2605.08472 提出使用自生成多样化数据进行中训练以改善 RL 效果的方法。研究采用 George Polya 经典问题求解方法论引导数据生成，为每个训练问题生成多个正确答案变体，使模型在 RL 前接触到多样化的推理路径。

技术细节

该方法的核心是自举数据生成框架（Bootstrapped Data-Generation Framework）：（1）基于 Polya 的四步问题求解法（理解问题→制定计划→执行计划→回顾反思），引导模型对每个训练问题生成多种求解路径；（2）在中训练阶段对这些多样化数据进行微调，使模型习得多条推理路径而非单一模式；（3）随后进行标准 RL 训练。理论分析表明，策略梯度更新天然激励模型组合多条问题求解路径，而非退化到单一策略。实验在数学推理、OOD 任务、代码生成、叙事推理等基准上均显示一致改善。

对大模型数据工作的影响

该研究为”中训练数据多样性”提供了理论与实践依据：（1）数据多样性不仅是预训练的专利，中训练同样需要——且多样性的定义从”文本类型多样”深化为”推理路径多样”；（2）Polya 框架提供了一种结构化的数据增强方法论，比随机采样或简单改写更具教育学意义；（3）“自生成”范式意味着中训练数据可以在不依赖外部标注的情况下规模化生产，但质量控制（避免生成路径的多样性仅停留在表面）仍是关键挑战；（4）理论证明了多样性数据的 RL 优势，为数据工程中的”多样性-质量权衡”提供了形式化基础。

---

Stanford Synthetic Megadocs：长文档合成突破数据效率天花板

事件概述

Stanford 联合研究者发表 Synthetic Megadocs 方法（arXiv:2603.18534），提出在数据受限场景下通过合成超长文档（Megadocs）提升预训练数据效率，在相同计算预算下实现 1.8 倍训练效率提升。

技术细节

Megadocs 的核心思路是：简单的文本改写（rephrasing）在合成数据量较小时有效，但随着合成数据比例增加，改进幅度递减；而 Megadocs 方法通过将多个相关主题的合成内容组织成超长连贯文档，利用文档内部的长距离依赖关系增强数据信号密度。关键发现包括：（1）随着合成数据量增加，Megadocs 相比简单改写的优势持续扩大；（2）长文档内部的跨主题关联为模型提供了更丰富的推理信号；（3）合成数据算法的设计（而非单纯的生成模型能力）是数据效率提升的关键变量。该方法为数据受限场景（如低资源语言、垂直领域）提供了可行的数据工程方案。

对大模型数据工作的影响

Megadocs 对数据工程的启示在于：（1）合成数据的设计维度从”条目级”扩展到”文档级”——数据的组织结构本身成为一种工程杠杆；（2）长文档合成对数据验证提出了新挑战——如何评估一个 10K+ token 合成文档的内部一致性；（3）1.8 倍的效率提升意味着相同算力下可支撑更大的数据规模实验，降低数据工程的试错成本；（4）该方法与 Thinking Mid-training 的”思考增强”互补——前者优化文档结构，后者注入推理步骤，两者结合可能产生更大的协同效应。

---

总结与展望

本期五项研究共同指向一个清晰的行业趋势：中训练正在从”锦上添花”演变为”不可或缺”。Anthropic MSM 证明中训练可以定义模型的泛化方向，Meta Thinking Mid-training 实现推理能力的数量级提升，IBM PRISM 系统性解构了中训练的设计空间，自生成数据中训练开辟了数据多样性新路径，而 Synthetic Megadocs 则展示了文档级数据设计的效率潜力。

对数据工程而言，中训练的崛起意味着：（1）训练数据流水线从”两阶段”变为”三阶段”，每个阶段需要不同的数据策略；（2）27B token 的中训练预算将数据工程从”大规模筛选”推向”精细化配制”；（3）合成数据的设计从条目级扩展到文档级和流水线级；（4）数据多样性、质量、配比在中训练阶段的交互效应远比预训练阶段复杂。中训练数据工程正在成为大模型数据工作的新前沿。