LLM 训练动态实验室
训练模拟器、多 Run 对比、Loss 预测器、LR Schedule 图鉴——亲手操控一次预训练
⚙训练参数
模型预设
350M1.3B7B13B70B200B405B671B
15B100B500B1T5T10T15T
1e-51e-41e-33e-2
预测最终 Loss
2.052
Chinchilla 公式
Chinchilla 最优 Loss
2.184
最优 tokens: 140B
与最优偏离
-6.0%
超出 Chinchilla 预期
训练步数
250K
0 个事件
关于 LLM 训练动态实验室 2.0
本工具基于 Chinchilla Scaling Law 模拟 LLM 预训练过程。曲线生成使用幂律衰减模型，参数调整实时反映到 loss 曲线形状。
训练模拟器：亲手配置超参数，观察 loss 曲线变化。多 Run 对比：8 种经典训练场景并排对比 + 同步联动面板。
Loss 预测器：给出前 N% 数据，用 power law 拟合外推预测最终 loss。LR Schedule 图鉴：6 种调度策略的交互式百科。
优化器沙盒：AdamW vs Muon vs SOAP 三优化器实时对决，展示 NVIDIA Slingshot 效应与 QR 修复方案。
💡 Chinchilla 定律仍在指导预训练，但 MoE 路由稳定性、大批次优化器选择、Zero RL 涌现成为 2026 年新焦点。所有数据为模拟生成，仅用于建立训练直觉。实际训练请参考 WandB/TensorBoard 等工具。