Scaling Laws 游乐场 3.0
4 标签页全景覆盖——从 Kaplan 到 T² 的 Scaling Laws 进化史
Scaling Laws 游乐场 3.0
训练+推理+T² 联合优化+范式演化——四标签页全景覆盖 Scaling Laws 6 年进化史。 从 Kaplan 到 T²：36 年来的每一次"定律被推翻"都是一次思想升级。
💰 成本估算（基于 H100 云端价格）
Chinchilla 最优分配建议
📜 Kaplan vs Chinchilla 之争
2020 年 OpenAI 的 Kaplan 论文认为应该优先增大模型、少用数据。 2022 年 DeepMind 的 Chinchilla 论文推翻了这个结论：模型大小和数据量应该等比增长。 这直接催生了 LLaMA——一个"小但训练充分"的模型家族。
🚀 Over-training 策略
LLaMA 3 用了 50 倍于 Chinchilla 最优的数据量来训练 8B 模型。 这牺牲了训练效率，但得到了一个推理更便宜的小模型。 当部署成本远大于训练成本时，over-training 反而是最优策略。
⚠️ Scaling Laws 的局限
Scaling Laws 预测的是交叉熵 loss，不是下游任务表现。 低 loss 不一定意味着更好的推理能力或更少的幻觉。 而且，数据质量的变化可以让同样参数量的模型表现相差巨大。
🔮 幂律的哲学
Loss 以幂律下降意味着：每提升 1% 的能力，需要的算力是上一次的好几倍。 这就是为什么 GPT-5 比 GPT-4 难这么多。 有人认为 Scaling Laws 会持续到 AGI，也有人认为我们正在接近一堵数据墙。
数学公式 ↓
L(N, D) = E + A / N^α + B / D^β
其中 E ≈ 1.69 (不可约 loss), α ≈ 0.34, β ≈ 0.28
算力: C = 6 × N × D
Chinchilla 最优: D_opt ≈ 20 × N, 即 N_opt = √(C/120)
Over-training ratio = D / (20 × N)
训练成本 = C / (GPU_FLOPs × MFU) × GPU_Price
H100: 1979 TFLOPS FP16, MFU ≈ 45%, 云端 ≈ $2.5/h