数据工程·后训练配方优化器
《AI 数据全书》· 第 23 章 · 后训练配比与质量评估配比是后训练里最容易被「拍脑袋」的一步，也是最容易在自己骗自己的一步。四个 Tab 各堵一个洞： 去污染没过闸，任何配比消融结论都不可信； loss 高的域不代表需要更多数据——它可能只是更脏，而 DoReMi 会奖励它； 三阶段顺序错了会直接崩（跳过 SFT 出乱码、跳过 DPO 探索失控）； 帕累托前沿上没有唯一最优，只有你的业务优先级选出来的最优。 DoReMi 迭代、非支配排序、pass@8 入池率、人审三分解全部在浏览器里真算； 算不了的明确标出是文献值还是教学模型。
🎛三轴配方矩阵（8 领域 × 3 难度 = 24 格）
按住拖动可连续涂抹合计 100.0%
色阶上限 40%（最深色 = 单格 ≥40%）。最大格当前 15.0%。
📋📖 Tulu-3 SFT 配方（§23.12.1）
| 数据源 | 数量 | 占比 | 领域 / 任务 | 当前 |
|---|---|---|---|---|
| WizardLM / Evol-Instruct | 280K | 30% | 通用 / 对话 | 30.0% |
| NuminaMath / GSM8K 增强 | 190K | 20% | 数学 / 推理 | 20.0% |
| Magicoder / Evol-Code | 140K | 15% | 代码 / 生成 | 15.0% |
| WildGuardMix | 95K | 10% | 安全 / 拒答 | 10.0% |
| IFEval-like | 95K | 10% | 指令遵循 / 格式 | 10.0% |
| 多语言（20+） | 45K | 5% | 多语 / 翻译 | 5.0% |
| OpenOrca 子集 | 45K | 5% | 知识 / 问答 | 5.0% |
| xLAM / Glaive | 45K | 5% | 工具 / 调用 | 5.0% |
| 总计 | 939K | 100% |
🔗NuminaMath / GSM8K 增强是污染高危区——「增强」若用了评测集原题做种子，污染会顺着配方进入模型。 对数学 / 代码类数据源，去污染扫描（§23.7）应作为入库的强制关卡。
🚧去污染闸门（§23.2.1 / §23.7.3）
训练集污染率0.04%
§23.7.3 污染率标准：<0.1% 合格 / 0.1–0.5% 警告 / >0.5% 不合格（全量重扫）
闸门已开：配比消融结论可用
✅五条配方设计原则达标度（§23.12.2）
通用打底 目标 30%30.0% 通过区间 20–∞%
推理加强 目标 35%35.0% 通过区间 25–∞%
安全底线 目标 10%10.0% 通过区间 5–20%
指令遵循 目标 10%10.0% 通过区间 5–15%
长尾覆盖 目标 15%15.0% 通过区间 10–20%
📖 §23.12.2 五原则通过区间为本工具按原则文字设定的判据
📈配方敏感度预判（§23.12.3）
GSM8K
+0.0
基本无变化
HumanEval
+0.0
基本无变化
XSTest
+0.0
基本无变化
IFEval
+0.0
基本无变化
通用能力
+0.0
基本无变化
GSM8K：数学占比每 +1pp ≈ +0.8 分（10%→20% 涨 8 分）
HumanEval：代码 ≥10% 时 0.4 分/pp；<10% 触发「显著下降」惩罚
XSTest：安全 <5% 拒答不足、>20% 过度拒答，两头扣分
IFEval：指令遵循到 10% 后边际收益递减至 0.15 分/pp
通用能力：通用 20–40% 区间影响小，出区间才掉分
⚠ 教学模型：按 §23.12.3 定性描述拟合的线性外推，非真实消融
⚠这张表的每一行都隐含一个前提：对应评测集是干净的。敏感度数据只有在去污染之后才有意义—— 训练集里若有 GSM8K 原题，「数学 10%→20% 涨 8 分 」这条结论完全不可信。
🎯三轴优先级：领域 > 任务 > 难度（§23.11.2）
- · 领域失衡最致命——缺数学就是不会数学
- · 难度可以通过课程化动态调整（§23.16），所以优先级最低
- · 不能「先学数学再学代码」——能力之间不是阶梯关系，所以领域/任务轴没有课程化这个手段
🔁质量筛选阶段顺便完成了三轴标注的大部分工作：难度轴复用 Deita complexity（1–6 映射三档）或 IFD 初筛， 任务轴复用 InsTag 标签，领域轴复用 Embedding 聚类——两个闭环合并的最大效率红利。
这个工具里哪些数字是真的
📖 文献值（引自原书，非本工具实算）
- · Tulu-3 SFT 八源配方 30/20/15/10/10/5/5/5，总计 939K（§23.12.1）
- · 五条设计原则：通用 30% / 推理 35% / 安全 10% / 指令遵循 10% / 长尾 15%（§23.12.2）
- · 敏感度表：数学 10→20% GSM8K +8 分 ；代码 <10% HumanEval 降；安全 <5% XSTest 拒答不足（§23.12.3）
- · DPO 五维 35/15/15/20/15 与三个常见错误（阿谀 / 推理回退 / 长度漂移 +30%）（§23.13）
- · pass@8 四桶推荐占比 10/30/40/20、任务配比 50/30/20、池规模 1–50 万（§23.14）
- · 三阶段 939K → 271K → 30K 与三种失败模式（§23.15）；课程化 50 epoch 三档区间、SFT 混 20% 旧数据（§23.16）
- · DoReMi 在 Pile 上 Llama-7B 平均 loss −4%、下游 +3–6%，RLVR 不适用（§23.17.3）
- · 污染率标准 <0.1% / 0.1–0.5% / >0.5%；抽 50 条人审噪声 >20% 先修质量（§23.7.3 / §23.17.4）
- · 帕累托三配方 A(70,85,60) / B(72,80,65) / C(68,88,58)（§23.18.2）
- · NebulaExp-8B：Qwen3-8B-base，3.84M SFT + 200K RL 池，55.01 → 60.99 → 61.85（§23.18.3）
🧮 浏览器内真算
- · 24 格矩阵的领域/难度归一化与行、列、总和
- · DoReMi 更新规则 w_d ← w_d·(L_d/ΣL)·D 的逐轮迭代与权重轨迹
- · 非支配排序（Pareto 分层）与帕累托阶梯线、业务权重加权排名
- · pass@8 二项采样、四桶分布、TVD、0<pass@8<0.8 入池率
- · 人审三分解的抽样计数与 20% 判据触发
- · TVD 配比偏离度、相邻轮次抖动幅度
⚠ 教学模型 / 示意值
- · 敏感度 delta 与三维能力分：按 §23.12.3 定性描述拟合的线性外推，非真实消融
- · 单条价值 = 相对 SFT 的数据量反比（教学换算）
- · 8 域干净 loss 基线、脏数据抬升系数 2.6、单点 噪声幅度、高 loss 区噪声富集系数 2.2
- · SFT 灾难性遗忘曲线（原书只给了「混 20% 旧数据」的处方，未给量化曲线）
- · 「真实最优配比」按「干净 loss 即可学信号」定义，是一种便于演示的设定，不等于真实下游最优
- · 五原则的通过区间（如安全 5–20%）是本工具按原则文字设定的判据
⚠ 本工具不调用任何模型或后端服务：所有「训练结果」都是给定教学模型下的确定性计算。 Tab ③ 的核心演示是一个刻意构造的反例——脏数据占比越高，DoReMi 越会把权重加给质量最差的域， 这恰恰是 §23.17.3 想让读者看见的失效模式，而不是 DoReMi 在正常条件下的表现。