持续更新中

大模型数据工程

从预训练到对齐的全链路实践。第一本系统讲解大语言模型数据工程的专业书籍——一个过滤阈值的选择、一条坏样本的遗漏，可能让千万美元的训练功亏一篑。

共 22 章 最后更新：2026年9月20日
开始阅读

认知优先

每个主题先讲认知是怎么演变的——业界曾经怎么想，后来发现了什么，为什么现在这么做

细节导向

不回避工程细节——阈值怎么选、边界情况怎么处理、踩过的坑和反直觉的发现

案例驱动

大量引用真实案例：FineWeb、DCLM、DeepSeek、Llama、Qwen 等的公开数据策略

目录

第零部分：引言

1

为什么数据是大模型的灵魂

从 0.1% 脏数据的故事讲起——数据质量如何决定大模型的成败

数据质量预训练认知演进

第一部分：预训练数据

2

数据来源——互联网的宝藏与垃圾

Common Crawl、高质量语料源、多语言数据与法律合规的全面解析

Common Crawl数据来源多语言
3

文本提取与清洗——魔鬼藏在细节里

HTML 提取、语言识别、启发式过滤、PII 处理与敏感内容过滤

文本提取数据清洗PII
4

去重——被低估的关键步骤

精确去重、模糊去重、大规模工程挑战与 Benchmark 污染检测

去重MinHashLSH
5

质量过滤——从规则到模型

质量定义、分类器过滤、困惑度过滤与质量 Scaling Law

质量过滤分类器困惑度
6

数据配比——预训练的隐藏变量

数据域配比、科学方法、多语言配比与课程学习

数据配比Curriculum Learning多语言
7

预训练数据的评估与迭代

数据质量评估、统计可视化、下游任务验证与迭代闭环

评估数据迭代消融实验

第二部分：中训练数据

8

中训练概论——为什么需要这个阶段

中训练的定位、核心问题与术语辨析

中训练Continual Pretraining领域适应
9

中训练数据的构造

能力增强、知识注入与合成数据在中训练中的应用

中训练数据长上下文代码增强
10

中训练的灾难性遗忘与稳定性

灾难性遗忘的防控、训练策略与遗忘检测评估

灾难性遗忘Replay稳定性

第三部分：SFT 数据

11

SFT 数据的本质——表面对齐假说

LIMA 启示、SFT 数据角色定位与分类学

SFT表面对齐LIMA
12

SFT 数据的构造方法

人工标注、自动合成、拒绝采样与数据混合配比

SFT构造合成数据拒绝采样
13

SFT 数据质量的精细控制

好样本标准、清洗过滤、多样性保证与多轮对话

SFT质量数据清洗多样性

第四部分：RL 数据

14

偏好数据的本质与构造

从 RLHF 到 GRPO 的偏好学习范式演变与数据构造

RLHFDPOGRPO
15

奖励模型的数据需求

奖励模型角色、训练数据与过程奖励模型 PRM

奖励模型PRMORM
16

推理模型的 RL 数据——新范式

DeepSeek-R1 启示、可验证奖励与推理数据构造

推理模型R1可验证奖励

第五部分：横切主题

17

合成数据——银弹还是定时炸弹？

合成数据全景、Model Collapse、Scaling Law 与质量控制

合成数据Model CollapseScaling Law
18

数据标注的方法论

标注流程、质量控制、大规模组织与 LLM-as-Judge

数据标注标注质量LLM-as-Judge
19

数据安全、隐私与伦理

隐私风险、版权合规、偏见公平性与数据安全

数据安全隐私伦理
20

数据工程的基础设施与工具链

处理框架、大规模工程、版本控制与自动化管线

基础设施datatrove数据管线

第六部分：实战与展望

21

端到端案例——从零构建一个 7B 模型的数据

完整的预训练到 RL 数据构建全流程实战

端到端实战案例7B模型
22

数据工程的未来

数据墙、多模态、Agent 数据与开放问题

未来展望数据墙多模态

附录

100

附录

主要数据集一览、工具速查表、质量评估 Checklist 与代码索引

附录数据集工具