数据工程·课程退火调度器
《AI 数据全书》· 第 10 章 · 数据配比与课程化退火同样 200B token，为什么别人退火能把 MMLU 从 86.1 推到 88.6，你退火却只换来一次能力倒退？ 差别不在「退不退火」，在退火期喂什么、学习率怎么落、以及课程和 LR 是不是在互相打架—— 本工具把这三条线拆成四个可交互沙盘，配方、LR、课程、时序逐项实算。
🎯退火回答的是「最后一段数据怎么喂」。书里给了至少 9 套配比，其中几套互相打架 —— 本 Tab 把它们并排，让你自己看出差异在哪，并用 §15.2 的五条踩坑经验实时校验你的配方。
📚退火配方预设（全部引自书中原文）
§16.1 通用模型退火
推荐退火配方模板·通用模型，与 §11.3 逐项相同。
🎚️配比编辑台（12 个数据源）
合计 100.0%
高质量教育数学 / 论文代码高质量问答合成推理SFT 风味长文档
高质量教育归一化后 50.0%
fineweb_edu_4plus50.0%
FineWeb-Edu ≥4 分精选，高中-大学级深度内容
wiki0.0%
维基百科 / 百科类，Qwen2.5 退火占 5%
数学 / 论文归一化后 20.0%
arxiv_math20.0%
arXiv 数学/物理/CS 论文
openwebmath0.0%
OpenWebMath 数学网页
代码归一化后 15.0%
github_clean15.0%
高 star GitHub 仓库
the_stack_v20.0%
The Stack v2（BigCode）
高质量问答归一化后 10.0%
stackexchange_top10.0%
StackExchange 高赞回答
合成推理归一化后 5.0%
synthetic_reasoning5.0%
GSM8K/MATH 合成推理链
orca_reasoning0.0%
Orca 风格推理数据
gsm8k_augmented0.0%
GSM8K 增强（数学模型模板 5%）
SFT 风味归一化后 0.0%
sft_like0.0%
指令风格数据，为后训练破冰（§12.2 推荐 5%）
长文档归一化后 0.0%
long_doc0.0%
拼接长文档，属长文阶段而非退火主力
🕳️退火参数与五坑校验器
退火 tokens200B
占总训练 2.00%（§13.5 核心规律：应占 1–5%）
总训练 tokens10T
主训练峰值 LR3.0e-4
退火起始 LR3.0e-5
当前为主训练的 1/10.0（推荐 1/10 – 1/100）
退火数据与主训练已见 token 重合率0%
§15.2 坑1：重合 = 几乎无效果。§13.1 的「主训练最高质量子集」与这条直接冲突（见下方「原文打架」）
合成推理链生成模型档位
🚧踩坑校验结果
✅当前配方未触发任何已知坑位。
规模因子
1.00
ρ=2.00%
LR 因子
1.00
1/10.0
总效能
1.00
重合折损 0%
📈预期能力增益（教学模型实算 vs 文献锚点）
MMLU知识+4.6
48.2 → 52.8
文献锚点 48.2 → 52.8（§15.1 某 7B）
GSM8K推理+9.8
12.3 → 22.1
文献锚点 12.3 → 22.1（§15.1 某 7B）
HumanEval代码+6.7
28.5 → 35.2
文献锚点 28.5 → 35.2（§15.1 某 7B）
MT-Bench闲聊+0.2
5.8 → 6.0
文献锚点 5.8 → 6.2（§15.1 某 7B）
⚠四个基准的起点与文献锚点都取自 §15.1 的某 7B 退火前后实测表（48.2→52.8 / 12.3→22.1 / 28.5→35.2 / 5.8→6.2）；本工具算出的增量是教学模型推导值，系数经标定使 「§16.1 通用模板 + 无重合 + ρ=2% + LR 1/10 + 顶级合成」这组默认参数复现 +4.6 / +9.8 / +6.7。 注意 §16.1 不含 SFT 风味，所以 MT-Bench 只有 +0.2 —— 把
sft_like 拉到 3% （§12.2 的推荐值）即可复现文献的 +0.4。📖§11.5 Llama3 退火实证（文献锚点，不参与实算）
| 策略 | 数据 | 退火 token | MMLU |
|---|---|---|---|
| 不退火 | — | 0 | 84.2 |
| 线性退火 | 同主训练数据 | 200B | 86.1 |
| 线性退火 | 高质量精选 | 200B | 88.6 |
| 阶梯退火 | 高质量精选 | 200B | 88.4 |
§11.5 的关键发现：退火数据的「质量」比退火策略本身更重要—— 同数据 86.1 → 高质量 88.6（+2.5），而线性 88.6 → 阶梯 88.4（−0.2，在噪声量级）。
🔀⚠ 原文内部矛盾（需反馈书籍编辑）
内容参考 《AI 数据全书》第 10 章「《AI 数据全书》第 10 章「数据配比与课程化退火」」（§7.1 四阶段时序 · §10.3-10.5 难度估计与课程策略 · §10.10.6 调度器 · §11.4-11.5 LR 退火与实证 · §13.4 YuLan-Mini · §14.2-14.3 平滑过渡 · §15.1-15.2 监控与五坑）。 难度估计（gzip / MTLD / Flesch / 文本特征）与调度器排序在浏览器内实算； 收益数值为教学模型、预设中的定性重建项与文献锚点已在对应位置标注。