数据工程·后训练三阶段导航
《AI 数据全书》· 第 16 章 · 后训练总览：从 SFT 到 RL
后训练数据比预训练少 1000 倍，单条却贵 1000 倍——为什么？因为 SFT 的梯度里藏着一个
1/π_θ 的病态放大：
1% 的困难 token 能拿走 90% 的梯度信号。
本工具把「SFT 到底在改模型什么」拆成四个可交互解剖台——管线、DFT 数学、泛化动力学、工业配方——
能算的一律在浏览器里真算，算不了的明确标出是文献值还是教学模型。
🧬数据形态：(prompt, ideal_response)
§16.3.1prompt（置灰 = 不参与 loss）
用三句话解释什么是光合作用。
response（参与 loss）
光合作用是植物利用光能将二氧化碳和水转化为有机物并释放氧气的过程。
它分为光反应与暗反应两个阶段，分别在叶绿体的类囊体膜和基质中进行。
总反应式为 6CO₂ + 6H₂O → C₆H₁₂O₆ + 6O₂。
prompt token（近似）
14
按字/词近似切分
response token（近似）
90
⚠ 非真实 tokenizer
参与 loss 占比
86.5%
已 mask
🎛️参数处方（拖动即可看踩坑卡实时变化）
学习率§16.3.12.0e-5
2.0e-6✓ 推荐 1.0e-5–2.0e-58.0e-5
对数轴
batch size§16.3.1128
2✓ 推荐 32–256512
按 token 计算更稳定
epoch§16.3.12
1✓ 推荐 1–36
超过 3 必然过拟合
warmup ratio§16.3.10.030
0.000✓ 推荐 0.020–0.0500.200
最大序列长度§16.3.18K
1K✓ 推荐 4K–8K32K
长 CoT 数据需要 32K
🩺踩坑校验器
全部通过✅当前参数全部落在 §16.3 推荐区间内，也没有关掉必需开关。
📡能力雷达：四帧叠加
base 基座+SFT+DPO+RLVR⚙ SFT 当前参数
base 基座：有知识但不会表达（§16.2.5）
+SFT：教格式与风格，安全边界同步建立（§16.2.6）
+DPO：教品味；推理能力几乎不动（§16.1.3）
+RLVR：教思考；⚠ 安全拒答率反向下降（§16.2.10 非对称泛化） ⚠ 教学模型
⚙ SFT 当前参数：在 +RLVR 基线帧上叠加 0 条踩坑惩罚（⚠ 教学模型）
⚠ 雷达数值为教学模型，按 §16.1.3 与 §16.2.10 定性描述设定，非真实训练结果
📉三阶段 lr / β 递减台阶（对数轴）
📖 区间与典型值引自 §16.3.1-16.3.3
⚠️口径更正：常见说法是「每过一个阶段，步长与 KL 惩罚各降一个数量级」。 严格按 §16.3 原文核：β 的 0.1 → 0.01 确实是整整一个数量级；但学习率的典型取值链 2e-5 → 5e-6 → 1e-6 分别是 4× 与 5×，不是一个数量级。 三个阶段的区间上界（2e-5 / 5e-6 / 1e-5）不构成递减——图上把区间带与典型值分开展示，就是这个原因。
内容参考 《AI 数据全书》第 16 章「后训练总览：从 SFT 到 RL」（§16.1 后训练 vs 预训练 · §16.2.9 DFT 与病态重要性权重 · §16.2.10 泛化三条件与 Dip-and-Recovery · §16.2.11 QQQ-target 与 CADFT · §16.3 三大阶段 · §16.8 甜点区间 · §16.9 Tulu-3 与 MOPD）。
诚实性清单： 📖 文献值—— 参数区间、踩坑文案、甜点区间、Tulu-3 全部配比、Focal/DFT 对比表； 🧮 真算—— DFT/Focal 权重、梯度集中度、「1% 数据 → 90% 梯度」验算、覆盖度（1 − TVD）、MOPD 能力守恒和、 GRPO 组内 z-score、loss mask 的 token 占比（按字/词近似切分，非真实 tokenizer）； ⚠ 教学模型 / 示意值—— Dip-and-Recovery 曲线、能力雷达、重复曝光得分、踩坑→雷达惩罚映射、MOPD 互抑系数、 Focal 梯度曲线的一阶近似。教学模型按原文定性描述设定，不复现任何真实训练。