阅读指南

本书从哪来

本书基于两个内网课程——《预训练数据工程》（8课）和《后训练数据工程》（9课）——整合扩展而成。原课程由 Jhonye 团队编写，以”12步预训练流水线 + 10步后训练流水线”为骨架，配套架构图与时序图。本书在此基础上做了三件事：

1. 合并打通：预训练和后训练不是两个孤岛，而是一条从”原始字节”到”对齐产品”的完整链路。本书用统一的5层架构和反馈闭环把它们串起来。
2. 深化展开：原课程每课约1-2小时阅读量，本书每章扩展为可反复翻阅的深度内容，增加工程实践、代码示例和踩坑经验。
3. 持续演进：本书接入自动化轮转系统，书籍研究员每日扫描章节，提出改进提案，内容编辑执行修改，内容审校员终审——形成”写→审→改→发”的闭环。

全书结构地图

部分	章节	核心问题
第一部分：全景与基础	Ch0 阅读指南 · Ch1 全景概览 · Ch2 数据决定上限	整条链路长什么样？为什么数据工程是制胜关键？
第二部分：预训练数据工程	Ch3-Ch10（8章）	如何把万亿字节的互联网垃圾变成高营养训练Token？
第三部分：后训练数据工程	Ch11-Ch18（8章）	如何把Base模型变成”懂事会说话”的对齐产品？
第四部分：闭环与展望	Ch19 评估闭环 · Ch20 工具栈与未来	怎么知道做得好不好？下一步往哪走？

三条学习路径

路径A：工程师速通（2小时）

只读 Ch1（全景概览）→ Ch7（数据混合配比）→ Ch15（RL/RLVR数据构建）。这三章覆盖了预训练和后训练各自最核心的”灵魂章节”，能快速建立全局观。

路径B：系统学习（20小时）

按顺序通读全书20章。每章配有架构图或时序图，建议对照图来理解数据流转。每章末尾有课后练习，动手做完才算真正掌握。

路径C：按需查阅

直接跳到你关心的环节：

• 要做数据清洗 → Ch4（质量过滤）+ Ch5（安全与去重）
• 要做SFT数据 → Ch13（SFT指令构建）+ Ch16（质量评估）
• 要做RL训练 → Ch15（RL/RLVR数据）+ Ch19（评估闭环）
• 要做配比优化 → Ch7（预训练配比）+ Ch17（后训练配比）

前置知识

知识点	最低要求	推荐补充
Python	能读懂基础语法	—
NLP基础	知道tokenization是什么	《大模型全书》Ch03
机器学习基础	知道loss、gradient	—
大模型训练	知道预训练和微调的区别	《大模型全书》Ch06-Ch09
分布式计算	知道Spark/Ray的概念	本书Ch3、Ch8会涉及

符号约定

• 💡 实操经验：来自一线工程的踩坑总结
• ⚠️ 易踩坑：看起来对但实际会出问题的做法
• ✅ 实证结论：有论文或实验数据支撑的结论
• 🔧 工程参数：可以直接拿来用的参数推荐值

与姊妹书的关系

本书与书架上已有的《大模型数据工程》定位不同：

维度	《大模型数据工程》(data-engineering)	《AI数据工程》(ai-data-engineering)
来源	原创撰写，持续演进	基于Jhonye课程整合扩展
风格	故事驱动，从0.1%脏数据讲起	系统工程，流水线+架构图驱动
重点	认知演进 + 端到端案例	工业级流水线 + 工程参数
章数	22章	20章

两本书互补阅读效果最佳：先读《大模型数据工程》建立”为什么”的直觉，再读《AI数据工程》掌握”怎么做”的工程方案。

延伸阅读

以下资料推荐在阅读本书前后查阅，帮助建立更完整的认知框架：

• Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs — 上海交大/清华/Microsoft/MIT CSAIL/上海AI Lab/小红书联合发布（arXiv:2601.17058, 2026-01-22）。该综述系统梳理了 LLM 增强型数据准备的完整技术栈，涵盖数据发现、清洗、集成、标注与评估五大环节，是理解”Agentic Data Engineering”前沿方向的重要参考文献。推荐在第1章全景概览后阅读引言部分，其余按需查阅。

---

准备好了吗？让我们从第1章开始——用一张图看懂从万亿字节到对齐产品的完整链路。