章节导航 第 1 章 / 共 20 章
全景概览：从万亿字节到对齐产品
用一张5层架构图看懂AI数据工程完整链路——预训练12步+后训练10步+反馈闭环
大模型效果 70% 取决于预训练数据质量，后训练效果 90% 取决于数据质量。
两者加在一起：数据工程决定了一个模型从”能说话”到”说对话”的全部距离。
1.1 为什么需要数据工程？
2024年以来，Llama 3、DeepSeek-V3、Qwen 系列的成功已经反复证明了一个结论：
同等算力下，数据质量提升1个量级，效果提升幅度大于模型参数提升1个量级。
这不是一句口号——FineWeb-Edu 在 MMLU、ARC 上的表现大幅超越未过滤的 FineWeb，数据质量过滤比模型规模翻倍带来的收益还大（HuggingFace, 2024）。DeepSeek-V3 用 MoE 架构和精心设计的数据配比，以不到 GPT-4 十分之一的训练成本达到了接近的效果。
但”数据质量”这四个字背后，藏着一条长链路的工业流水线。从 Common Crawl 的原始 WARC 字节，到 GPU 上跑的定长张量，中间要经过采集、解析、语种识别、质量过滤、安全过滤、去重、脱敏、打标、配比、Tokenization、Packing……每一步都直接影响最终模型的能力。
预训练如此，后训练更甚。一条精心构造的多轮 trajectory，对模型行为的影响可能超过1万篇网页。10K精选SFT的效果反超1M粗造——这是”少即是多”在后训练的实证。
数据工程不是辅助工作，是大模型训练的制胜核心。
1.2 两条流水线：预训练12步 + 后训练10步
完整的AI数据工程包含两条流水线，共22个核心环节。
预训练数据工程：12步
| # | 阶段 | 核心动作 | 典型工具 |
|---|---|---|---|
| 1 | 采集 Acquisition | WARC下载、爬虫、镜像 | Common Crawl, GitHub |
| 2 | 解析 Parsing | HTML/PDF转纯文本 | trafilatura, MinerU, NeMo Curator |
| 3 | 语种识别 LangID | 打语种标签 | fastText, GlotLID, NeMo Curator |
| 4 | 质量过滤 Quality | 规则+模型打分 | Gopher, FineWeb-Edu, NeMo Curator |
| 5 | 安全过滤 Safety | 毒性、违规内容剔除 | Perspective, Detoxify, NeMo Curator |
| 6 | 去重 Dedup | 精确+模糊去重 | MinHash, SimHash, NeMo Curator |
| 7 | 隐私脱敏 PII | 邮箱/电话/证件号脱敏 | Presidio, NER, NeMo Curator |
| 8 | 分类打标 Tagging | 领域/类型/难度多维标签 | 分类器矩阵, NeMo Curator |
| 9 | 数据混合 Mixing | 按比例配方 | DoReMi, RegMix, NeMo Curator |
| 10 | Tokenize+Packing | 切token、打包 | SentencePiece, tiktoken |
| 11 | 课程化 Curriculum | 训练顺序编排 | Annealing策略 |
| 12 | 评估归因 Eval | 消融、TDA、Scaling Law | Influence Function |
后训练数据工程：10步
| # | 阶段 | 核心动作 | 典型工具 |
|---|---|---|---|
| 1 | Seed采集 | 收集种子任务、用户问题 | OpenAssistant, ShareGPT |
| 2 | 指令合成 | Self-Instruct/Evol/Magpie | GPT-4, Claude |
| 3 | 响应生成 | 强模型生成/人工撰写 | GPT-4o, Llama-405B |
| 4 | 偏好标注 | Pairwise比较/多维评分 | UltraFeedback |
| 5 | Verifier构建 | 数学/单测/规则判分 | sympy, sandbox |
| 6 | 质量过滤 | IFD/Reward-Gap/多样性 | Deita, perplexity |
| 7 | 去污染 | 训练-评测集n-gram比对 | 13-gram, LSH |
| 8 | 数据混合 | 任务/领域/难度三轴配比 | YAML配方 |
| 9 | 格式化 | Chat-Template/Tool注入 | tokenizers |
| 10 | 评估归因 | 消融、Reward-Hacking检测 | MT-Bench, Arena |
两条流水线的本质差异
| 维度 | 预训练 | 后训练 |
|---|---|---|
| 数据规模 | 10T~15T tokens | 10M~10B tokens |
| 单样本价值 | 极低（一篇网页） | 极高（1条SFT≈1万条网页） |
| 数据形态 | 自由文本 | 结构化(prompt-response/pair/trajectory) |
| 关键指标 | PPL、Scaling Law | 评测胜率、人类满意度 |
| 成本主项 | GPU算力 | API Token+人工标注 |
| 清洗哲学 | 减法（3T→1T） | 精炼（100万→10万） |
规模差1000倍，但都遵循同一个法则：数据决定上限。
1.3 五层架构：从数据源到训练消费
把22个步骤按功能归类，整个AI数据工程可以分为5层+1个反馈闭环：
L1 采集/来源层（决定上限）
- 预训练：Common Crawl、GitHub、arXiv、Wikipedia、书籍、StackExchange
- 后训练：人工标注、开源数据池(OpenHermes/Tulu-3)、模型合成(Magpie)、生产日志
能拿到什么数据决定能训出什么模型。这一层的核心是覆盖面和多样性。
HuggingFace Datasets 生态：HuggingFace Datasets 库已成为事实上的数据分发标准——200K+ 公开数据集通过统一 API 即可一行代码加载。FineWeb、DCLM、RedPajama-2 等顶级预训练语料，以及 OpenHermes、Tulu-3 等后训练数据集，均优先通过 HF Datasets 分发。对数据工程团队而言，HF Datasets 不仅是获取数据的入口，更是了解”行业标准数据集是怎么构建的”的最佳学习资源（见课后练习2）。
L2 清洗/构造层（工程量最大）
- 预训练：HTML/PDF解析、Gopher规则过滤、FineWeb-Edu模型打分、MinHash去重、PII脱敏
- 后训练：指令合成(Self/Evol/Magpie)、响应生成(GPT-4/Best-of-N)、偏好标注(UltraFeedback/RLAIF)、Verifier构建
预训练做减法（3T→1T），后训练做精炼（100万→10万）。 这一层是整条流水线工程量最大的部分。
端到端工业方案：NVIDIA NeMo Curator 1.2.0（26.04）是当前最完整的开源数据整理工具链，覆盖了预训练 L2-L4 层的全部核心环节——从 HTML 解析、语种识别、质量/安全过滤、去重、PII 脱敏，到多维打标和数据混合配比。其 GPU 加速管线可以在数小时内完成 TB 级数据处理，是工业级数据工程的推荐底座。 NVIDIA 官方客户案例（韩国 Trillion Labs）给出了一个可量化的验证：用 NeMo Curator 的 GPU 管线处理 1.7T tokens 韩语语料，数据整理时间从 CPU 的约 24 小时缩短到 8×H100 的约 3.4 小时（约 7 倍加速），成本与能耗节省约 10 倍，其中去重是收益最显著的环节；配合 100B tokens 精选数据还实现了韩语准确率 +5%。后训练侧，NeMo Curator 也提供了指令合成、偏好标注和去污染等模块（详见第11-18章相关工具说明）。
L3 治理层（合规与可调度性基础）
- 预训练：安全过滤、PII脱敏、多维打标(领域/类型/难度/教育价值)
- 后训练：IFD/Deita质量打分、去污染(13-gram比对20+评测集)、拒答检测、多样性筛选
不打标就无法配比，不去污染评测就无效。 这一层是合规底线和精细调度的基础。
L4 配比与格式层（决定模型性格）
- 预训练：静态/动态/学习式配比(DoReMi/RegMix)、阶段化配方(Pretrain→Midtrain→退火→长文)、Tokenization+Packing
- 后训练：任务/领域/难度三轴配比、SFT→DPO→RL阶段化配方、Chat-Template适配
配比就是炒菜的火候和调味——同样的食材，配方决定味道。 多代码→编程强、多论文→推理强、多对话→闲聊感强。
L5 训练消费层（产出物）
- 预训练：4类数据集——Pretrain一阶段(10-15T)、Midtrain(1-3T)、退火(50-500B)、长文(50-200B)
- 后训练：3类数据集——SFT(100K-10M条)、偏好(50K-1M条)、RL/RLVR(10K-500K条)
L0 反馈闭环层（工业级分水岭）
- 预训练：数据探针、消融实验、Influence Function、Scaling Law拟合→调整配比/阈值
- 后训练：MT-Bench/Arena/LiveBench评测、Reward Hacking检测、TDA归因→修Verifier/补长尾
有无反馈闭环，是区分初级和高级数据团队的分水岭。 没有评估的数据工程是盲修——所有改动都只是猜测。
Agentic Data Engineering 前沿方向：2026年1月，上海交大/清华/Microsoft/MIT CSAIL/上海AI Lab/小红书联合发布的综述 Can LLMs Clean Up Your Mess?（arXiv:2601.17058）系统梳理了一个新兴范式——让 LLM 自身作为 Agent 参与数据准备全流程。具体而言，LLM 可以自动生成数据清洗规则、检测异常模式、合成高质量标注，甚至在人工反馈引导下迭代优化数据处理管线。这一范式有望将 L0 反馈闭环从”人工分析+手动调参”升级为”Agent 自主发现+自我修正”，是有望重塑数据工程工作流的下一代方向。本书第20章将对 Agentic 数据工程做进一步展望。
环境即数据（Environment Factory）：Agent 训练的数据边界，正在从”静态文本样本”扩展到”可执行环境”。2026 年一条新研究路线把环境构建转化为程序合成——EnvScaler（arXiv:2601.05808，人大 NLPIR）用 LLM 自动生成带状态、规则与工具逻辑的可执行 Python 环境，单个环境成本仅约 1 美元，程序化合成了 191 个环境 / 约 7K 任务场景；AgentScaler（2026-06）进一步以 3 万+ API 构造 1000+ Domain，提出”环境的 Scaling Law”。这意味着 Agent 数据流水线需要新增「环境构建 / 状态初始化 / 任务生成 / 轨迹验证」等环节，且前沿已从”环境数量”向”环境分布（多样性 × 难度结构）“演进（详见第 18 章多轮与 Agent 数据）。
1.4 数据流转全景
一条数据从”原始字节”到”上线模型”的完整旅程：
预训练链路:
Common Crawl WARC
→ trafilatura解析 → 纯文本
→ fastText语种识别 → 分流(zh/en/code)
→ Gopher规则过滤 → 去噪
→ FineWeb-Edu打分 → 高质量子集
→ MinHash+LSH去重 → 去重文档
→ Presidio脱敏 → 合规文档
→ 分类器打标 → 带标签文档池
→ DoReMi配比采样 → 配方文本流
→ SentencePiece Tokenize → token序列
→ Best-Fit Packing → 定长张量(8K/32K)
→ GPU训练 → Pretrain/Midtrain/退火/长文 ckpt
后训练链路:
种子任务 + 开源数据 + 生产日志
→ Magpie/Evol合成 → prompt池
→ GPT-4o/Llama-405B生成 → response
→ UltraFeedback/RLAIF标注 → 偏好对
→ sympy/sandbox Verifier → RL prompt
→ IFD/Deita质量打分 → 精选池
→ 13-gram去污染 → 清洁数据
→ 三轴配方采样 → 训练数据流
→ Chat-Template格式化 → SFT→DPO→RL训练
→ MT-Bench/Arena评测 → 反馈调整性能瓶颈点
预训练流水线中，解析（步骤2）、LSH比对（步骤9）、装箱（步骤19）是最耗时的三个环节，通常需要Spark/Ray/SLURM等分布式框架支撑，单机几乎不可能完成TB级处理。
后训练流水线中，响应生成（强模型API调用）、RL rollout、Verifier调用（沙箱并发）是最大开销。一份100万条SFT用GPT-4合成可能花5-20万美元——后训练是”API Token为王”，与预训练”算力为王”完全不同。
1.5 各步骤价值排序
从”做与不做”的边际收益看：
| 价值层级 | 预训练 | 后训练 |
|---|---|---|
| 💎 决定性价值 | 质量过滤、去重、配比 | 指令多样性、响应质量、Verifier可信度 |
| 🔧 工程必需 | 采集解析、Tokenize+Packing、评估归因 | 去污染、Chat-Template适配、评估闭环 |
| ⚖️ 合规底线 | 安全过滤、PII脱敏 | 安全SFT、拒答数据平衡 |
| 🎯 锦上添花 | 课程化、精细打标 | 课程化、精细打标、Agent trajectory |
工程经验
- 初期资源有限时，优先把”决定性价值”三件事做扎实，回报最高
- 合规相关属于”做不好不行，做好了不加分”的工作
- 建立评估归因闭环是从”靠经验”到”靠数据驱动”的分水岭
1.6 四大阶段产物（预训练）
整条预训练流水线的最终产物，按训练阶段切分为4类数据集：
| 阶段 | 定位 | 配比特点 | 典型规模 |
|---|---|---|---|
| Pretrain一阶段 | 建立通用语言能力 | 网页60%+代码15%+书籍10%+数学10%+多语5% | 10T~15T tokens |
| Midtrain二阶段 | 注入推理/代码/数学能力 | 代码30%+数学20%+推理链15%+网页25%+其他10% | 1T~3T tokens |
| 退火Annealing | 收尾提分（小学习率） | FineWeb-Edu精选50%+数学/代码30%+SFT风味20% | 50B~500B tokens |
| 长文Long Context | 扩展上下文窗口(4K→128K+) | 拼接长文档、书籍、代码仓库+Position重训 | 50B~200B tokens |
1.7 三大阶段产物（后训练）
| 阶段 | 定位 | 数据形态 | 典型规模 |
|---|---|---|---|
| SFT | 教会基本对话/指令遵循 | (prompt, response) | 100K~10M条 |
| 偏好对齐(DPO/RM) | 教会人类偏好 | (prompt, chosen, rejected) | 50K~1M条 |
| RL/RLVR | 在可验证任务上自我进化 | (prompt, verifier) | 10K~500K条 |
Tulu-3标杆配方：SFT 939K + DPO 271K + RLVR 30K。这是开源世界最完整的工业级后训练数据集。
1.8 本课总结
- AI数据工程 = 预训练12步 + 后训练10步，共22个核心环节
- 5层架构：采集/来源 → 清洗/构造 → 治理 → 配比/格式 → 训练消费，加反馈闭环
- 预训练产出4类数据集(Pretrain/Midtrain/退火/长文)，后训练产出3类(SFT/偏好/RL)
- 价值排序：质量过滤+去重+配比（预训练）/ 指令多样性+响应质量+Verifier（后训练）是决定上限的核心
- 有无评估闭环是初级与高级团队的分水岭
课后练习
- 画出你团队当前数据工程实际链路，对照本章22步看缺哪几步
- 查询 FineWeb-Edu 数据集卡片，理解一个开源高质量数据集是怎么构建的
- 对照 Tulu-3 公开配方，画出你团队后训练的实际链路
- 思考：如果只能保留预训练12步中的3步，你会保留哪3步？后训练呢？
下一章我们将深入探讨——为什么数据质量能决定模型上限？背后有什么理论和实证支撑？