数据工坊第四个产品原型：把书里第 10 章的配比决策变成能算的账——哪个域的语料不够、要跑几个 epoch、重复之后还剩多少真正有效的数据、退火池有没有和主训练撞车
数据域
| 数据域 | 可用唯一量 (B) | 质量 | 目标权重 | 分到 (B) | epoch | 折合新鲜 (B) | 转化率 | 名义% | 有效% | |
|---|---|---|---|---|---|---|---|---|---|---|
| 1137 | 1.89 | 1081 | 95% | 58.0 | 58.0 | |||||
| 333 | 0.83 | 333 | 100% | 17.0 | 17.9 | |||||
| 98 | 6.53 | 60 | 61% | 5.0 | 3.2 | |||||
| 157 | 0.52 | 157 | 100% | 8.0 | 8.4 | |||||
| 98 | 0.82 | 98 | 100% | 5.0 | 5.3 | |||||
| 78 | 0.98 | 78 | 100% | 4.0 | 4.2 | |||||
| 59 | 1.47 | 58 | 98% | 3.0 | 3.1 |
名义配比 vs 有效配比
写在配方上
58%
17%
8%
模型真吃到
58%
18%
8%
总预算
2000 B
实际分出
2000 B
折合新鲜数据
1905 B
有效转化率
95.3%
两条形不一样长就说明有域在靠重复凑数：它的名义额度高于模型实际学到的东西。差异越大，烧掉的算力越多。
🔴 「数学」要跑 6.5 个 epoch
可用 15B，却分到 98B。超过 4 个 epoch 后收益急剧衰减——现在这份数据只相当于 60B 新鲜数据，名义 98B 里有 38B 是白烧的算力。要么扩充这个域的语料，要么把额度让给还没吃饱的域。
🔵 名义配比和有效配比已经跑偏
数学 -1.8pp。写在配方上的是名义占比，模型真正学到的是有效占比——差异来自重 复 epoch 的收益衰减。「数学」分到的额度有一半是重复数据，实际影响被稀释了。