数据工程观察 · Vol.12

持续预训练的数据工程：当「再训一轮」不再是简单的追加数据

系统解读持续预训练（Continual Pretraining）和中训练（Mid-training）阶段的数据工程方法论——从 D-CPT Scaling Law 的配比预测、Stability Gap 的工程化缓解，到课程学习与学习率衰减的隐性冲突，以及 Common Corpus 开启的合规数据新范式

2026年4月8日持续预训练 continual pretraining mid-training 中训练 D-CPT Law Scaling Laws Stability Gap 课程学习 curriculum learning 灾难性遗忘 catastrophic forgetting Common Corpus 数据配比领域适配

本期主题：从”预训练完就完了”到”训练永不结束”

前 11 期，我们系统梳理了预训练数据工程的核心议题——数据质量评估、合成数据、去重、数据选择、配比优化、污染检测、分词器。但有一个同样重要的主题被系统性地忽略了：预训练之后怎么办？

大模型训练不再是一锤子买卖。Llama 3.1、Qwen 2.5、DeepSeek-V3——几乎所有主流模型都经历了某种形式的”再训练”：在基础预训练之后，用领域数据、高质量数据或新数据继续训练。这个阶段在不同语境下被称为持续预训练（Continual Pretraining, CPT）、中训练（Mid-training）、领域适配（Domain Adaptation），或者直接叫”退火阶段”（Annealing）。

称呼不一，但数据工程挑战是共通的：

配比问题：领域数据和通用数据混多少？比例不对，要么遗忘通用能力，要么领域增益有限
遗忘问题：新数据的分布偏移如何导致已有知识的退化？
调度问题：数据的排列顺序和学习率的衰减策略如何交互？
效率问题：在有限计算预算下，怎样最大化领域增益同时最小化遗忘？

本期围绕这四个问题，解读 2024-2026 年的关键论文，试图为”持续预训练的数据工程”建立一个可操作的认知框架。

一、中训练的独立化：从附属环节到独立阶段

在进入具体论文之前，有必要先厘清一个概念演变。

“A Survey on LLM Mid-Training” (北大 + 美团 / arXiv 2025)

来自涂承颖、张旭淼、翁荣翔、李如梅、张晨、白杨、严宏飞、王金刚、蔡旭良

这篇综述首次系统定义了”中训练”作为 LLM 开发流程中的一个独立阶段，而非预训练或后训练的附属。

LLM 训练流程的三阶段演进：

传统理解（2020-2023）：
  Pre-training ──────────────→ Post-training (SFT/RLHF)
  │ 海量网络数据              │ 标注数据
  │ 通用能力获取              │ 任务对齐
  └──────────────────────────┘

当代理解（2024-2026）：
  Pre-training → Mid-training → Post-training
  │              │               │
  │ 海量数据     │ 中等规模      │ 精标注数据
  │ 通用基础     │ 特定领域      │ 对齐调优
  │              │               │
  │              │ 目标：         │
  │              │ · 数学推理     │
  │              │ · 代码能力     │
  │              │ · 长上下文     │
  │              │ · 多语言增强   │
  │              │ · 领域知识     │
  └──────────────┴───────────────┘

中训练的三个优化维度：

维度	内容	典型方法
数据策划	选什么数据、混多少、什么顺序	D-CPT Law、领域相关性采样、回放策略
训练策略	学习率调度、warmup、退火	温和衰减、模型平均、多轮训练
架构优化	上下文扩展、稀疏激活	RoPE 外推、MoE 路由调整

关键洞察：中训练和后训练的本质区别在于——中训练使用的是无标注的领域数据（本质上还是语言建模目标），而后训练使用的是有标注的对齐数据（SFT/RLHF）。这意味着中训练的数据工程方法论更接近预训练，而非微调。

对实践的启示：如果你的团队还在用”先预训练、再 SFT”的两阶段范式，可能需要重新审视了。在预训练和 SFT 之间插入一个中训练阶段——用精选的领域数据（代码、数学、科学文献等）做持续语言建模——可以显著提升特定能力，且成本远低于从头预训练。Meta 的 Llama 3.1、阿里的 Qwen 2.5 都在实践中验证了这一点。

二、D-CPT Law：用 1% 的成本预测最优配比

”D-CPT Law: Domain-specific Continual Pre-Training Scaling Law for Large Language Models” (阿里 + MBZUAI / NeurIPS 2024)

来自 Haoran Que, Jiaheng Liu, Ge Zhang 等 16 人

这是我认为持续预训练数据工程领域最有实践价值的论文之一。它解决了一个极其现实的问题：做领域持续预训练时，通用数据和领域数据的比例应该是多少？

问题的困境：

传统做法是网格搜索——试 10:90、20:80、30:70……每个配比都要跑一轮完整训练，然后评估。对于 7B+ 模型，这个搜索成本是天文数字。

D-CPT Law 的核心思路：

传统方法（穷举搜索）：
  配比 10:90 → 训练 7B × 100B tokens → 评估 → 记录
  配比 20:80 → 训练 7B × 100B tokens → 评估 → 记录
  配比 30:70 → 训练 7B × 100B tokens → 评估 → 记录
  ...
  → 选最优配比
  → 总成本：N × 全量训练 ≈ 天文数字

D-CPT Law（预测搜索）：
  步骤 1：用小模型（1B/3B）× 少量 tokens 跑几个配比
  步骤 2：拟合 D-CPT Scaling Law 曲线
  步骤 3：用拟合的曲线预测任意配比下 7B 模型的性能
  → 总成本：原来的 ~1%

数学形式：

D-CPT Law 将持续预训练的损失建模为三个变量的函数：

r：领域数据的混合比例
N：模型参数量
D：训练数据量

通过在小规模实验上拟合这个函数，可以外推预测大规模设定下的最优 r 值。

六个领域的验证：

领域	模型	预测最优配比	实际最优配比	预测误差
医疗	Llama-3-8B	~35% 领域	~30-40%	< 3%
法律	Llama-3-8B	~40% 领域	~35-45%	< 3%
金融	OpenLlama-3B	~30% 领域	~25-35%	< 5%
代码	—	—	—	类似
数学	—	—	—	类似
科学	—	—	—	类似

跨领域迁移（Cross-Domain D-CPT Law）更令人兴奋：利用已有领域（如医疗）的拟合结果，只需极少量新领域（如法律）的数据点，就能预测新领域的最优配比。训练成本降至 ~1%。

对实践的启示：

不要再盲目搜索配比了。 用 1B 模型 + 少量 tokens 拟合 D-CPT Law，然后预测 7B/13B/70B 的最优配比，成本节省两个数量级

领域间存在迁移性。 如果你已经做过医疗领域的持续预训练，跨到法律领域时可以复用之前的 scaling law 参数

最优配比通常在 30-40% 领域数据。 与 Vol.11 讨论的合成数据 ~30% 黄金配比形成呼应——“30% 似乎是混合训练的一个普适甜蜜点”

三、CPT Scaling Law：解耦分布偏移与学习率衰减

”Learning Dynamics in Continual Pre-Training for Large Language Models” (中科院 / ICML 2025 Oral)

来自 Xingjin Wang, Howe Tissue, Lu Wang, Linjing Li, Daniel Dajun Zeng

如果说 D-CPT Law 告诉你”混多少”，这篇 ICML 2025 Oral 论文则告诉你”为什么混那么多”。

核心发现：持续预训练的损失曲线，本质上描述了从一条 scaling curve 到另一条隐藏 scaling curve 的过渡。

CPT 损失曲线的解耦分析：

损失
│
│ ╲    ← 初始下降（继承预训练动量）
│  ╲
│   ╲
│    ·····╲  ← 分布偏移引起的"颠簸"
│          ╲
│           ╲  ← 领域数据开始生效
│            ╲
│             ╲····  ← 学习率衰减导致的收敛
│                 ── ← 最终损失
├──────────────────────── 训练步数
│
│ 两个独立因素：
│ Factor 1: 分布偏移（通用 → 领域）
│   → 决定了曲线的"形状"和过渡速度
│ Factor 2: 学习率退火
│   → 决定了曲线的"终点"和收敛速度

CPT Scaling Law 的实用价值：

预测任意训练步数的损失：不需要跑完全量训练，就能预测最终性能
量化回放比例的影响：通用数据的回放比例如何影响通用能力保持和领域能力获取
优化学习率调度：为 CPT 阶段定制最优的学习率 warmup 和衰减策略
平衡通用-领域性能：通过调整公式参数，在通用能力和领域能力之间找到帕累托最优

关键参数的定量理解：

参数	影响	实践建议
峰值学习率	过高→遗忘加剧；过低→领域适配不足	通常设为预训练末期 LR 的 3-10×
回放比例	越高→通用能力保持越好，领域增益越小	D-CPT Law 预测的最优值附近
训练步数	过少→欠拟合；过多→过拟合+遗忘	用 scaling law 预测最优停止点
warmup 比例	过短→训练不稳定；过长→浪费计算	总步数的 5-10%

对实践的启示：CPT Scaling Law 最大的价值在于把持续预训练从”试错”变成了”计算”。以前做领域适配，LR 设多少、回放多少、训多少步，全靠经验和直觉。现在有了可预测的数学框架，可以在小规模实验上拟合参数，然后直接计算大规模设定的最优超参。

四、Stability Gap：持续预训练开头为什么会变差？

“Efficient Domain Continual pretraining by Mitigating the Stability Gap” (北大 + 港科大 + 微软 / ACL 2025)

来自 Yiduo Guo, Jie Fu, Huishuai Zhang, Dongyan Zhao

做过持续预训练的团队几乎都观察过一个令人焦虑的现象：刚开始训领域数据时，模型在通用任务上的性能会暂时下降。

这不是偶然，而是一个被称为 Stability Gap（稳定性差距） 的系统性现象。

Stability Gap 的典型表现：

通用能力
│
│ ════════╗        ╔══════════
│          ╚══════╝
│          │      │
│          │      └── 恢复期：通用能力逐渐回升
│          └── Gap 期：通用能力暂时下降
│
├──────────────────────────── 训练步数
│ 预训练态   CPT 阶段
│
│ 同时，领域能力：
│ ─────────╗
│          ╚═══════════════
│               持续上升

为什么会有 Gap？

当训练数据分布从”通用网络文本”突然切换到”领域数据”时，模型的参数需要重新调整以适应新分布。在这个调整过程中，原有的通用表征会被暂时扰动——就像一个全科医生突然去心内科进修，头几周可能连感冒都不会看了。

论文的三个工程化方案：

方案	机制	效果
多轮训练	在固定预算内增加 epoch 数，减少每步的分布冲击	缓解 Gap 幅度约 30-50%
领域相关性采样	优先选择与目标领域高度相关的通用数据做回放	平滑分布过渡
语料库分布采样	按语料库原始分布采样回放数据，避免比例失调	保持通用多样性

实战验证（Llama-3-8B，医疗领域）：

传统 CPT（单轮，随机回放）：
  → 100% 计算预算 → 医疗性能：基线 +8.2%
  → 通用性能：-3.1%（遗忘）

本文方案（多轮 + 相关性采样）：
  → 40% 计算预算 → 医疗性能：基线 +9.5%
  → 通用性能：+1.2%（不仅不遗忘，还提升了）

最后一个数据点尤其惊人：仅用 40% 的计算预算，领域性能更好，通用能力也没有退化。这说明传统的”暴力灌数据”CPT 方式效率极低——大量计算浪费在了 Stability Gap 的下降-恢复周期上。

对实践的启示：

CPT 初期的性能下降是正常的，不要惊慌。 但也不要无视——它消耗了宝贵的计算预算

多轮训练优于单轮大量数据。 在固定预算内，增加 epoch 数比增加数据量更有效

回放数据的选择比回放比例更重要。 不是随机从预训练数据中采样就行——选择与领域相关的通用数据做回放，效果远好于随机回放

五、预训练中的遗忘：不是只有 CPT 才会忘

”Exploring Forgetting in Large Language Model Pre-Training” (ACL 2025)

前面讨论的”遗忘”都是 CPT 场景下的。但这篇 ACL 2025 论文揭示了一个更底层的事实：即使在标准预训练过程中，遗忘也普遍存在。

核心发现：

性能非单调性：模型的整体 loss 虽然总体下降，但在特定数据子集上的表现会波动甚至回退。训练后期，模型可能”忘掉”早期学过的知识
长尾数据最易被遗忘：出现频率低的知识（如小众领域、低资源语言）在后续训练中更容易被覆盖
数据配比影响遗忘模式：某些数据成分的混合会导致模型对其他成分的知识遗忘——这与 D-CPT Law 的配比优化形成理论互补
遗忘的量化：通过 A/B 对照实验（在数据集 A 上训练，在数据集 B 上测试），论文量化了遗忘程度与训练数据分布变化的关系

预训练遗忘的三种形态：

1. 分布漂移遗忘
   训练数据从 Batch A（科学文献）→ Batch B（社交媒体）
   → 模型在科学问答上暂时退化
   → 后续批次如果包含科学数据，性能可恢复

2. 容量竞争遗忘
   模型参数有限 → 新知识占用旧知识的表征空间
   → 低频知识优先被覆盖
   → 通常不可逆

3. 优化轨迹遗忘
   参数更新方向偏离了旧任务的最优方向
   → 与学习率大小直接相关
   → 可通过调度策略缓解

对实践的启示：这篇论文对数据工程的启示在于——预训练数据的排列顺序（data ordering）不是随机就行的。如果关键领域的数据集中在训练早期，后续的海量通用数据可能会”冲刷”掉这些知识。这直接引出了下一个话题：课程学习。

六、课程学习的陷阱：你的最好数据被浪费了

”How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining” (清华 / ICLR 2026)

来自 Kairong Luo, Zhenbo Sun, Haodong Wen, Xinyu Shi, Jiarui Cui, Chenyi Dang, Kaifeng Lyu, Wenguang Chen

这可能是本期最具颠覆性的论文。它揭示了一个看似合理的训练策略中隐藏的致命缺陷。

课程学习的直觉：先让模型看简单/低质量的数据，再看难/高质量的数据。就像人类学习一样，先学基础再学进阶。

学习率衰减的直觉：训练初期用大学习率快速收敛，后期用小学习率精细调整。这是几乎所有预训练都在用的标准做法（cosine decay、linear decay）。

两者的冲突：

课程学习 + 学习率衰减的矛盾：

数据质量：   低质量 ─────────────→ 高质量
学习率：    高 LR ──────────────→ 低 LR

时间轴 ──────────────────────────────→

问题：当最好的数据终于出现时，
      学习率已经衰减到很小了。
      模型无法从高质量数据中有效学习！

结果：
  ┌─────────────────────────────────────┐
  │ 恒定 LR + 课程学习 → 显著优于随机    │
  │ 衰减 LR + 课程学习 → ≈ 随机         │
  │                                     │
  │ → 课程学习的好处被 LR 衰减"吞掉"了   │
  └─────────────────────────────────────┘

论文的核心实验（1.5B 模型，30B tokens）：

设置	数据顺序	LR 调度	平均性能
基线	随机	cosine decay	基线
课程 A	质量升序	cosine decay	≈ 基线（课程无效）
课程 B	质量升序	恒定 LR	> 基线（课程有效）
课程 C	质量升序	温和衰减 + 模型平均	基线 +1.64%

解决方案：

温和衰减：最终 LR 仅比峰值 LR 略低（而非降到接近 0），确保训练后期仍有足够的学习能力
模型平均：对训练后期的多个 checkpoint 做加权平均，代替 LR 衰减的”稳定化”功能

对实践的启示：

如果你在用课程学习（先差后好），检查你的 LR 调度。 标准的 cosine decay 可能会完全抵消课程学习的好处

温和衰减 + 模型平均 是一个简单有效的修复方案

这个发现对 CPT 同样适用：持续预训练通常在预训练的退火阶段进行，此时 LR 正在衰减——这可能部分解释了为什么某些 CPT 方案效果不如预期

七、数据打包的隐性损失

”Improving Continual Pre-training Through Seamless Data Packing” (复旦大学 / ACL 2025 Findings)

来自 Ruicheng Yin, Xuan Gao, Changze Lv, Xiaohua Wang, Xiaoqing Zheng, Xuanjing Huang

一个容易被忽视的工程细节：数据打包（packing）方式对持续预训练的影响远比想象的大。

传统打包的问题：

传统数据打包（naive concatenation + truncation）：

文档 1: [ABCDEFGH]  文档 2: [IJKLMNO]  文档 3: [PQRSTUVWXYZ]

打包为固定长度序列（max_len=10）：
序列 1: [A B C D E F G H I J]  ← 文档 1 完整 + 文档 2 被截断
序列 2: [K L M N O P Q R S T]  ← 文档 2 剩余 + 文档 3 被截断
序列 3: [U V W X Y Z pad pad pad pad]  ← 文档 3 剩余 + 大量 padding

问题：
1. 文档 2 在序列 1/2 的边界被截断 → 上下文断裂
2. 序列 3 有 40% 是 padding → 计算浪费
3. 序列 1 中，文档 1 和文档 2 的拼接处无语义关联 → 噪声

Seamless Packing 的两阶段方案：

阶段	方法	效果
阶段 1	滑动窗口重叠	连续序列间共享重叠 tokens，保持上下文连续性
阶段 2	FFD（First-Fit-Decreasing）装箱	将短文档智能组合，最小化 padding 和截断

实验结果：在 99% 的实验设置中优于传统打包方法。

对实践的启示：数据打包看似是纯工程问题，但在 CPT 场景下影响显著——因为 CPT 数据量通常比预训练小一个数量级，每个 token 的利用效率更重要。如果你还在用 naive concatenation，这是一个低成本高回报的优化点。

八、合规数据的新范式：Common Corpus

”Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training” (Pleias / ICLR 2026 Oral)

来自 Pierre-Carl Langlais, Pavel Chizhov, Catherine Arnett 等 10 人

这不是一篇方法论文——它是一个基础设施。在 EU AI Act 等法规日益严格的背景下，训练数据的合规性正在从”最好有”变成”必须有”。

Common Corpus 数据概览：

维度	详情
规模	~2 万亿 tokens
合规性	全部为无版权或宽松许可证数据
语言	广泛多语言覆盖，含低资源语言
内容	文本 + 代码
用户	已被 Anthropic 等机构使用
会议	ICLR 2026 Oral（口头报告）

为什么这对数据工程很重要？

持续预训练的数据来源问题：CPT 需要大量领域数据，但很多领域数据（医学教材、法律文献、技术标准）存在版权问题。Common Corpus 提供了一个合规的替代选项
数据溯源的工程化：Common Corpus 附带完整的元数据和许可证链条——这是构建可审计训练管线的基础
低资源语言覆盖：对做多语言 CPT 的团队，Common Corpus 提供了之前很难获取的低资源语言数据

对实践的启示：Epoch AI 预测公开可用的高质量文本数据将在 2026-2032 年间耗尽。在这个背景下，合规数据的获取本身就是一种竞争优势。建议团队现在就开始建立自己的合规数据管线——不仅是为了法律风险，更是为了数据供给的可持续性。

持续预训练数据工程的决策框架

综合本期讨论的论文，可以构建一个可操作的决策框架：

持续预训练数据工程决策树：

Q1: 需要什么领域能力？
├── 数学/推理 → 高比例领域数据 (~40-50%)
├── 代码 → 中等比例 (~30-40%)
├── 医疗/法律 → 中等比例 (~30-40%)
└── 多语言增强 → 按目标语言覆盖率决定

Q2: 计算预算是否有限？
├── 充裕 → 用 D-CPT Law 精确搜索最优配比
└── 有限 → 跨域 D-CPT Law 迁移（成本 ~1%）

Q3: 回放策略？
├── 领域相关性采样 > 语料库分布采样 > 随机采样
└── 回放比例由 CPT Scaling Law 预测

Q4: 训练策略？
├── 多轮训练 > 单轮大数据
├── LR warmup 5-10% 总步数
├── 如果用课程学习：温和衰减 + 模型平均
└── 数据打包：Seamless Packing > naive packing

Q5: 数据合规？
├── 优先使用 Common Corpus 等合规数据
├── 保留完整的数据溯源链条
└── 为 EU AI Act 等法规做前瞻性准备

本期思考

回顾前 11 期，我们一直在讨论”预训练数据怎么做好”——从质量评估到去重，从配比到选择。但本期的内容揭示了一个更大的图景：数据工程不是预训练的前置步骤，而是贯穿模型全生命周期的持续工程。

三个认知需要更新：

第一，训练是多阶段的，每个阶段有不同的数据需求。 中训练综述清楚地表明，现代 LLM 开发已经从”预训练-微调”两阶段演进到”预训练-中训练-后训练”三阶段。每个阶段的数据策划都有独特的方法论。数据工程师不能只关注预训练阶段，中训练的数据质量同样决定了最终模型的能力上限。

第二，持续预训练的数据工程已经有了可预测的数学框架。 D-CPT Law 和 CPT Scaling Law 共同提供了一个从小规模实验预测大规模训练效果的理论工具。这意味着”最优配比”和”最优步数”不再需要靠直觉和穷举——它们可以被计算。这是数据工程从”手艺”走向”工程”的标志性进步。

第三，很多看似无关的工程细节（数据打包、LR 调度、数据排序）之间存在深层交互。 清华 ICLR 2026 论文揭示的”课程学习 × LR 衰减”冲突就是一个典型例子——两个独立看起来都合理的策略，组合在一起反而互相抵消。这提醒我们：持续预训练的数据工程不能只优化单个维度，需要在数据、调度、策略三个维度上联合优化。

对数据工程团队的建议：

立即可做：审视你的数据打包策略——从 naive packing 换到 seamless packing，零成本提升训练效率

短期投入：建立 D-CPT Law 的拟合管线——用小模型实验预测大模型配比，节省 99% 的搜索成本

中期建设：建立合规数据供给体系——Common Corpus + 自有合规数据管线，为监管趋严做准备

认知升级：把中训练视为独立阶段来设计数据管线，而非预训练的简单延续

下期预告：数据标注的自动化革命——从人工标注到 LLM-as-Judge，当标注员变成大模型，数据标注的质量保证、成本结构和方法论如何重塑