如果你来训 GPT-5
预训练数据配比模拟器——调配数据配方，看对模型能力的影响
🧪
数据配比模拟器 2.0
恭喜，你被任命为下一代大模型的预训练 + 后训练数据负责人。调整下面的滑块，看看你的选择如何影响模型的各项能力。
预训练数据配比 (总计需 = 100%)
100%30%
8%
5%
15%
7%
8%
12%
8%
0%
7%
预训练配比分布
网页文本 30%书籍 8%百科知识 5%代码 15%数学 7%对话数据 8%多语言 12%合成数据 8%视频/多模态 7%
一键加载真实模型配方
注：真实配比均为公开信息的近似值，非官方精确数据
综合能力评分
52
/ 100
能力雷达图
已选 0/3 对比模型各项能力详情
编程能力
35
数学推理
33
常识问答
63
多语言
42
指令跟随
69
创意写作
63
逻辑推理
54
事实准确
57
🏆 隐藏成就 (1/10)
展开💡 你可能不知道的数据配比冷知识
代码提升推理能力：代码训练不只是让模型会写程序——大量研究表明，代码数据可以显著提升模型的逻辑推理和数学能力。DeepSeek 的成功很大程度上归功于此。
数据质量 > 数据数量：FineWeb-Edu 证明了，10% 的高质量数据可以训出媲美 100% 原始数据的模型。配比只是第一步，质量过滤才是关键。
合成数据的双刃剑：合成数据可以低成本扩展稀缺领域，但过度使用会导致"模型自噬"——模型在模型生成的数据上训练，性能逐渐退化。
后训练 > 预训练的错觉：后训练对指令跟随和偏好对齐至关重要，但核心能力（推理、知识、多语言）的根基仍在预训练阶段打下的。
真实模型数据配比参考
| 模型 | 🌐 网页文本 | 📚 书籍 | 📖 百科知识 | 💻 代码 | 🔢 数学 | 💬 对话数据 | 🌍 多语言 | 🤖 合成数据 | 🧠 推理轨迹 | 🎬 视频/多模态 | 说明 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeek V4 (推测) | 25% | 8% | 5% | 30% | 12% | 5% | 5% | 10% | 0% | 0% | 代码+数学重，推测 V4 延续此路线 |
| Llama 4 Behemoth (推测) | 38% | 8% | 5% | 20% | 8% | 5% | 8% | 5% | 0% | 3% | 推测 MoE 架构，多语言+视频增强 |
| Qwen 3 235B-A22B | 28% | 6% | 4% | 25% | 18% | 3% | 13% | 3% | 0% | 0% | 混合推理模式，数学占比大幅提升 |
| Claude Opus 4.5 (推测) | 35% | 12% | 5% | 15% | 10% | 8% | 8% | 7% | 0% | 0% | 推测偏书籍+对话，强调安全对齐 |
| GPT-5 (推测) | 28% | 10% | 4% | 22% | 12% | 6% | 6% | 8% | 0% | 5% | 推测合成数据+视频增强，约 15T tokens |
| Gemini 2.5 Pro (保留) | 35% | 10% | 8% | 15% | 10% | 7% | 5% | 5% | 0% | 5% | Google 2025 主力，原生多模态 |
| 你的配方 ✨ | 30% | 8% | 5% | 15% | 7% | 8% | 12% | 8% | 0% | 7% | 综合评分: 52 |
方法论说明 ↓
本模拟器基于公开研究 （Data Mixing Laws, DoReMi, Llama 3/4 技术报告等）的定性结论构建影响力矩阵。
预训练能力分数通过 影响力矩阵 × 数据配比 计算，加入递减收益曲线（>30% 部分效果减半），并归一化到 0-100。
后训练影响力矩阵独立建模 SFT/RLHF/推理轨迹/安全对齐四阶段对能力的贡献。
完整管线模式将预训练与后训练分数按 7:3 加权合成综合评分。
真实模型配比来自官方技术报告或可靠推测，不代表精确值。这是一个教学工具，不是精确预测器。
核心洞察：没有完美的配比，每个选择都是 trade-off。