数据工程·中训练课程表

《AI 数据全书》· 第 12 章 · 中训练总览与方法论

中训练是全书唯一一个「夹在两章之间」的阶段——ch01–ch11 讲预训练数据、ch16–ch25 讲后训练数据， 它最容易在读的时候被翻过去，却是最花钱的一段（Llama 3 800B、GLM-5 1.55T、Qwen3-Coder-Next 600B token）。 本章还有全书最硬的一句断言：不做中训练的 RL 几乎无效—— PRISM 的对照实验里，基础模型直接 RL 在 AIME 上约 0 分，中训练后再 RL 得 29-42 分。 本工具把第 12、14、15 章拆成四个可交互沙盘： 阶段编排、长上下文课程、领域注入与遗忘预算、退火与调度。 geomspace 课程、配比归一化、学习率 cosine 调度、20% 红线判定、长文档质量三条判据全部在浏览器里真算； 算不了的明确标出是文献值还是教学模型，页尾还有 5 条书内矛盾与 12 条一手来源。

📋① 载入一个真实配方

验收数字：每阶段恒定混入 ≥ 30% 短上下文数据以避免短上下文退化；RULER 512K 81.3% 待复核

🚨② 中训练量 / 预训练量 —— 20% 红线

🧮 真算
中训练总量
250B
4 个阶段
占预训练
1.7%
预训练 15T
红线状态
安全
阈值 20%
1.7%
0%红线 20%30%（刻度上限）
📉1.7% 偏低。§12.4 的警示是「< 50B 模型来不及调整内部表示，效果不明显」—— 当前总量 250B。

🧩③ 阶段编排（可增删 / 改 token 量）

1
100B40%
类型能力增强
上下文8,192
学习率恒定（预训练末期 LR × 0.3）
量级参考100B-500B
论文实测 1,769B；RoPE base 0.5M，LR 1.5e-5 + Cosine，CP 1
2
80B32%
类型长上下文扩展
上下文65,536
学习率较低恒定 LR（预训练末期 × 0.1）
量级参考50B-500B
论文实测 590B；RoPE base 1M，LR 6e-6 Constant，CP 1；节点数减半
3
40B16%
类型长上下文扩展
上下文131,072
学习率较低恒定 LR（预训练末期 × 0.1）
量级参考50B-500B
论文实测 229B；RoPE base 10M，LR 6e-6 Constant，CP 2
4
30B12%
类型退火巩固
上下文524,288
学习率Cosine 退火到 0
量级参考50B-200B
论文实测 131B；RoPE base 10M，LR 6e-6 Constant，CP 8；global batch 恒为 13,107,200 tokens

🧪④ 合成比例刻度（叠在总配比上）

合成数据占中训练总量的比例20%
§14.3：改写式 20-25% + 教科书式 5-10%，8B 生成器即可，与 70B 增益相当
20%
80%
改写式合成 20%教科书式合成 0%真实数据 80%
📖Meta 大规模实证（§14.3）：30% 是合成数据的最优混合比，其中改写式 20-25% + 教科书式 5-10%；8B 生成器的产出与 70B 增益几乎相同。

🧮§12.7 决策 2 估算器

🧮 真算
预训练总量15T
中训练目标数量3 个
目标难度
base_ratio0.07
× (1 + 0.2×(n−1))× 1.40
估算中训练量1.47T
占预训练9.8%
书上示例输出：15T + 3 目标 + medium = 1470B / 9.8%。 但选「困难 + 5 目标」会得到 27% —— 已越过 20% 红线， 而估算器不会自己报警。

📏§12.4 数据量级参考标尺

📖 书中原表
知识时效更新50B-200B
占预训练 0.5-2% · 一般增量更新
长上下文扩展50B-500B
占预训练 0.5-5% · Llama 3 的上下文扩展
代码/数学增强100B-1T
占预训练 1-10% · Code Llama, DeepSeek Coder
多语言增强200B-2T
占预训练 2-20% · 中文增强、多语言适配
综合中训练500B-2T
占预训练 5-20% · Llama 3/3.1 的完整中训练
📌两端警示：< 50B 来不及调整表示；> 30% 严重遗忘或过拟合。

🚀全局钩子：PRISM 的 27B 下限

§12.2.6：基础模型直接 RL 在 AIME 上 ≈ 0 分；中训练后再 RL 得 29-42 分（3-4 倍）。机制是中训练重构 > 90% 权重、RL 只精调 ~5%（CKA > 0.998）。
因此中训练量的评估口径不只是「它自己涨了多少」
还要看「它为后续 RL 创造了多大可提升空间」。完整的饱和曲线在「退火与调度台」Tab 顶部。
🔍 本工具发现的书内矛盾与勘误（5 条）
📖 内容参考
主章节：《AI 数据全书》第 12 章「中训练总览」——/books/ai-data-encyclopedia/enc-ch12-midtraining-overview/
数据部分：《AI 数据全书》第 14 章「中训练数据工程」——/books/ai-data-encyclopedia/enc-ch14-midtraining-data/
遗忘部分：《AI 数据全书》第 15 章「灾难性遗忘」——/books/ai-data-encyclopedia/enc-ch15-catastrophic-forgetting/
📚 一手来源
Llama 3 技术报告（Meta, 2024） — §12.2.1 / §12.3.1 / §12.6 — 6 阶段长上下文、峰值 8×10⁻⁵、~800B 退火 token
UltraLong-8B, arXiv:2504.06214（Nvidia, 2025） — §14.1.1 — ~1B token 把 128K 扩到 4M，RULER 1M 从 0 提到 77.2
TxT360-Midas（K2-V2）, arXiv:2512.06201 — §14.1.1 — 四阶段工业级方案；Table 3 实测 1,769B/590B/229B/131B，RoPE base 0.5M→10M，每阶段短上下文 ≥ 30%
PRISM（IBM） — §12.2.6 — 不做中训练的 RL 在 AIME 上 ≈ 0 分；27B token 下限；CKA > 0.998
“How to Train Long-Context Language Models (Effectively)”, ACL 2025 — §14.1.1 — 代码仓库与书籍是最佳长上下文数据源；长数据必须与高质量短数据混合
Proximity Advantage in Distribution Bridging（CMU, 2025） — §14.2 — 分布距离预测因子 r = 0.869
Knowledge-Instruct, arXiv:2504.05571 — §14.2 — < 1B token 时指令式注入优于传统 CPT，且遗忘更少
Scaling Laws for Forgetting, arXiv:2502.06042（ICLR 2026） — §15.2 — 遗忘量与回放比例的幂律；理想条件下 1% 即可
CMR Scaling Law, arXiv:2407.17467（EMNLP 2024） — §15.2 — Critical Mixture Ratio，最小回放比例可预测
OctoThinker, arXiv:2506.20512 — §12.3.3 — 稳定-衰减两阶段、三分支设计、MegaMath-Web-Pro-Max 700B
GLM-5（智谱, 2026） / Qwen3-Coder-Next（阿里, 2026） — §12.6 — 广而全 1.55T / 77.8% vs 深而专 600B / 71.3%
Jangjoo et al., PRL 136, 197301（2026） — §14.3 — 一条真实数据即可阻止崩塌（指数族模型的数学证明）