AI数据全书
由《AI数据工程》与《大模型数据工程》整合而成的全集版。覆盖预训练、中训练、后训练、合成数据、基础设施全链路，并补齐质量感知缩放律、数据溯源、合成数据生成-验证-进化体系等 2026 行业缺口，并已补入多模态数据工程与具身智能数据两章。
全集版整合
把工程精简版与理论厚重版两本书合并为一，保留全部细节，覆盖预训练到合成数据全链路
补齐 2026 缺口
质量感知缩放律 L(N,D,Q)、数据溯源 Provenance、合成数据生成-验证-进化体系、数据飞轮范式
持续演进
多模态与具身数据工程作为独立新章在后续阶段补入，本书随行业进展迭代
目录
篇零：导论与数据范式
篇一：预训练数据工程
数据获取与多源采集
网页、代码、书籍、论文、多语料的多源采集策略与可得性权衡。
文本抽取与清洗
从 HTML/PDF/Office 中抽取正文，去除样板、导航、广告与 boilerplate。
语种识别与质量过滤
从规则过滤到分类器过滤：FastText/CLD3 语种识别 + 质量分类器（FineWeb-Edu/CommonCrawl Quality）。
安全过滤、去重与隐私合规
毒性/恶意内容过滤、模糊/精确去重、PII 与隐私合规三合一。
PII 识别与脱敏
个人可识别信息的识别、标注与脱敏/替换策略。
Tokenization 与序列 Packing
分词器选择、词汇表构建、序列打包（packing）与样本边界处理。
数据配比与课程化退火
领域/语种配比的实操方法（DoReMi/RegMix）与课程化退火训练策略。
预训练评估与可归因分析
预训练数据消融、可归因评估（data attribution）与数据影响量化。
篇二：中训练与数据治理
篇三：后训练数据工程
后训练总览：从 SFT 到 RL
后训练数据全链路：SFT→偏好→RLVR 的演进与数据在每阶段的作用。
后训练数据来源
指令数据、偏好数据、推理数据的来源渠道与采集方式。
SFT 指令数据构建
指令数据的模板设计、loss mask、Magpie 自生成与质量治理。
偏好数据工程
偏好对的构造（对比/排序）、标注一致性、奖励黑客防御。
奖励模型数据
奖励模型的训练数据构造：细粒度偏好、过程奖励（PRM）数据。
推理 RL 与 RLVR 数据
RLVR（可验证奖励强化学习）数据：可验证答案、rollout 与拒绝采样。
多轮 Agent 交互数据
多轮工具调用、Agent 轨迹数据的采集、回放与质量筛选（由原书独立章升级整合）。
后训练配比与质量评估
后训练各阶段数据的配比、去污染与质量评估闭环。