数据工程·全景驾驶舱
《AI 数据全书》· 第 0 章 · 阅读指南与全书地图《AI 数据工程》系列首页——从万亿字节原始数据到对齐产品的完整管线一张图
大模型效果 70% 取决于预训练数据质量， 后训练效果 90% 取决于数据质量。
—— 《AI 数据全书》第 0 章 · 全景概览
点「▶ 播放数据流」可看一颗数据粒子从起点逐节点点亮整条流水线。
L0 反馈闭环
数据不是一次性消耗：数据探针 / 消融 / Influence Function / Scaling Law 把模型表现归因回数据 → 反哺配比（Mixing）；MT-Bench / Arena / Reward Hacking 检测 暴露后训练问题 → 回修 Verifier 与偏好标注。闭环转动越顺，数据飞轮越快。
第 0 章关键数据
大模型效果 70% 取决于预训练数据质量，后训练效果 90% 取决于数据质量。
规模：预训练 10T~15T tokens vs 后训练 10M~10B tokens；单样本价值：1 篇网页 vs 1 条 SFT≈1 万条网页；清洗哲学：减法 3T→1T vs 精炼 100 万→10 万。
性能瓶颈：预训练最耗时在解析 / LSH 比对 / 装箱；后训练在响应生成 / RL rollout / Verifier（100 万条 SFT 用 GPT-4 合成花 5-20 万美元）。
预训练四大阶段产物：Pretrain 一阶段 10-15T / Midtrain 1-3T / 退火 50-500B / 长文 50-200B。
后训练三大阶段产物：SFT 100K-10M 条 / 偏好 50K-1M 条 / RL 10K-500K 条。
Tulu-3 标杆配方：SFT 939K + DPO 271K + RLVR 30K。
前沿方向
arXiv:2601.17058 — 让 LLM 作为 Agent 自主清洗、配比、构造数据。
EnvScaler arXiv:2601.05808 — 单环境约 1 美元，191 环境 / 7K 任务，把「环境」本身变成可批量生产的数据。
| 维度 | 预训练 | 后训练 |
|---|---|---|
| 规模 | 10T~15T tokens | 10M~10B tokens |
| 单样本价值 | 1 篇网页 | 1 条 SFT ≈ 1 万条网页 |
| 清洗哲学 | 减法 3T → 1T | 精炼 100 万 → 10 万 |
| 最耗时环节 | 解析 / LSH 比对 / 装箱 | 响应生成 / RL rollout / Verifier |