AI数据工程
基于工业级参考课程整合扩展，系统讲解AI数据工程完整链路。预训练12步流水线（采集→解析→清洗→去重→配比→Tokenize）+ 后训练10步流水线（SFT→偏好→RLVR），配套5层架构图、时序图、工程参数与踩坑经验。结合FineWeb-Edu、Tulu-3、DeepSeek-R1等前沿案例。
全链路视角
从预训练到后训练的完整数据工程链路——预训练12步流水线 + 后训练10步流水线，覆盖采集、清洗、去重、配比、SFT、偏好、RL 全流程
工业级实践
不堆砌论文，而是讲工程细节——阈值怎么选、边界情况怎么处理、踩过的坑和反直觉的发现，结合 FineWeb-Edu、Tulu-3、DeepSeek-R1 真实案例
架构图驱动
配套5层架构图、时序图、工程参数表，让复杂的数据流水线一目了然，可复用到自己的项目中
目录
第一部分：全景与基础
第二部分：预训练数据工程
数据采集与解析
从Common Crawl的WARC字节到干净纯文本——主流数据源盘点、HTML正文抽取(trafilatura/resiliparse)、PDF解析(MinerU/Nougat/Marker)、采集架构与解析时序
语种识别与质量过滤
CommonLingua语种识别(334语种,仅8MB)、fastText基线、Gopher启发式8条规则、Perplexity/FineWeb-Edu/DCLM模型打分、DSIR/QuRating重要性采样——把垃圾数据挡在门外
安全过滤与去重
Perspective/Detoxify/CSAM安全过滤、SHA256精确去重、MinHash+LSH模糊去重、SimHash、Suffix Array句级去重、训练-评测集13-gram去污染
隐私脱敏与文档打标
PII类目(邮箱/电话/身份证/银行卡/IP/API Key)、双路检测(正则+NER+密钥扫描)、Presidio框架、脱敏策略、多维打标、分类器训练
数据混合配比（核心）
配比决定模型性格——静态配比(Llama-1)、DoReMi动态配比(Group DRO)、RegMix学习式配比(LightGBM)、阶段化配方、退火策略详解
Tokenization与Packing
BPE/Unigram/SentencePiece算法、词表设计(32K/64K/128K/256K)、中文坑(字节切分/多语种平衡/数字按位拆)、Packing三种策略、Document Mask、Megatron格式(.bin/.idx+mmap)
课程化与退火策略
课程学习(Curriculum Learning)原理(从易到难)、退火(Annealing)策略设计(LR线性衰减/高质量精选)、退火数据组成、工业级实践案例、训练阶段切换时序
评估、归因与闭环
数据卡片(Datasheet)、数据探针(PPL分布/毒性分布/领域分布)、消融实验(1B小模型/Scaling Law外推)、训练数据归因TDA(Influence Function/TracIn/Datamodels/EK-FAC)、Scaling Law拟合(Loss(N,D)=E+A/N^α+B/D^β)、闭环设计
第三部分：后训练数据工程
后训练全景——SFT/DPO/RLVR三阶段
后训练 vs 预训练本质差异(规模差1000倍/单样本价值高1000倍)、三大阶段(SFT/偏好对齐/RL)、10步流水线、5层架构、数据流转时序、三大阶段产物(SFT 100K-10M/偏好 50K-1M/RL 10K-500K)、Tulu-3标杆配方
后训练数据采集与来源
四大来源对比(人工标注5-50$/条/开源数据池/模型合成0.001-0.1$/条/生产日志)、人工标注(InstructGPT 40人/培训/双盲审核)、开源数据池(OpenHermes-2.5/Tulu-3-SFT/Infinity-Instruct/ShareGPT/UltraFeedback/HelpSteer2/NuminaMath)、模型合成(强教弱/自举/结构化合成)、Magpie合成方法、生产日志(隐私/采样偏差/反馈信号/回流闭环)
SFT指令数据构建
SFT数据结构(messages/chat-template/loss mask/pack边界)、Self-Instruct(175种子→52K/多样性饱和)、Evol-Instruct(进化算子:加约束/加深/具象化/增加推理步/复杂输入)、Magpie(模型自吐prompt/零种子/温度1.0/多样性极高)、三方法对比、响应生成策略(单次贪婪/采样投票/Best-of-N+RM/CoT自反思)、多样性度量(4-gram/Embedding聚类/InsTag覆盖率)、Deita关键发现(10K精选>100K粗造)
偏好数据构建
偏好数据结构(prompt/chosen/rejected/score/annotator/aspect)、RLHF vs DPO路线(PPO+RM vs 直接优化/KTO/IPO/SLiC)、来源(人工20-30%/RLAIF 40-60%/用户隐式10-20%/Constitutional 10-20%)、UltraFeedback(64K指令/多模型并行/4维度1-10分)、RLAIF(GPT-4当评审/成本降100倍/去Position Bias/去Length Bias)、Constitutional AI(宪法原则/自我批评修正)、4大偏差(Length/Sycophancy/格式/领域)、Score-Gap过滤+长度归一化、自适应DPO谱系(SA-DPO margin/Se-DPO token credit/ADPO目标函数)、优化侧偏差(C2-DPO上下文盲视CPG)
RL/RLVR数据构建（核心）
为什么是RLVR(DPO天花板离线/RL允许自我rollout/RLVR奖励0/1干净)、数据三要素(prompt/verifier/元信息)、五类可验证任务(数学sympy/代码单测/指令遵循规则/抽取F1/多步推理)、Prompt池构建(难度梯度pass@8/多样性/可验证性)、Verifier设计坑(数学等价/沙箱隔离/多解/Cross-Verifier)、GRPO风格Rollout(N=16采样/组内z-score/课程化重采)、长链思维CoT(R1-Zero纯RL涌现/不给参考过程/超长输出8K-32K)、Reward Hacking检测、信用分配(Cue-GRPO结构级偏斜/VIGOR预算分配)、过程奖励三路线(SCOPE-RL任务侧造信号/RSTG教师侧借信号/StructReward免verifier规则对齐)、多语言RLVR(母语差距小/强跨语言迁移/严重回退监控)
质量评估与清洗
6种脏数据(评测污染/同质化/幻觉/拒答异常/格式破坏/长度偏差)、IFD指标(PPL(response|prompt)/PPL(response)/0.3-1.0保留/>1丢弃/Cherry-LLM实证)、Deita Selector(complexity×quality+embedding距离)、Reward-Gap(gap<1丢弃/1-3主力/>3人审/normalized_gap)、去污染(精确匹配/13-gram/embedding 0.85/必扫20+评测集)、拒答检测(XSTest/拒答分类器/5-10%甜点)、多样性度量(4-gram≥0.6/Embedding K-means/InsTag≥1000)、可证明数据审计(PTDI集合级FIR控制vs Beyond Shapley影响值)、CalibDCD后训练特征校准(污染检测可分性/通用校准框架/多视角偏移检测+有界特征校正)
数据混合与配方
三轴配方(任务/领域/难度)、SFT阶段配方(Tulu-3: 通用30%+数学20%+代码15%+安全10%+指令10%+多语5%+知识5%+工具5%)、DPO阶段配方(Helpfulness 35%/Honesty 15%/Harmlessness 15%/推理20%/长度去偏10%)、RL/RLVR阶段配方(pass@8分桶: 0.8-1.0 10%/0.5-0.8 30%/0.2-0.5 40%/0-0.2 20%)、三阶段串联(Tulu-3: SFT 939K→DPO 271K→RLVR 30K)、动态配比(DoReMi for SFT)、课程化(简单→中等→难)、目标模型感知数据选择(Data-DPO one-step probing/激活差异转偏好/三重组合)、后训练动态配比(DataFlex统一三范式/DomainPilot token级域loss+Scaling Law粗优化+Mixing Law细优化/loss信号混淆噪声难度新颖性)、可复现基准(NebulaExp-8B 3.84M SFT+200K RL/五步处理栈/55.01→60.99→61.85)
多轮对话与Agent数据
多轮数据结构(messages/loss只算assistant/上下文一致性)、三大来源(真实日志/人工对话/模型多轮自玩)、UltraChat合成(双GPT-4角色/5轮截断)、Tool-Use Trajectory(tool_calls结构化JSON/tool role/mock执行/多步嵌套)、ReAct合成范式(Thought/Action/Observation循环/xLAM/Glaive)、技能使用数据维度(SKT 2000 skills→4000 tasks→27164验证轨迹/SkillEval/验证是增益来源)、闭环自优化(ASTRA tool-call graph拓扑采样/可验证环境合成/SFT+4分vs轨迹级RL+13.6分增益不对称)、Agent数据六大难点(工具幻觉/参数错误/失败恢复/长trajectory/工具偏好/意图波动IACM-RL 13场景+五维指标+BeliefState stale flags)、JSON Schema静态校验、System Prompt数据(5类型配比)、多轮一致性评估(MT-Bench/MINT/τ-Bench/BFCL)
第四部分：闭环与展望
评估闭环与归因
三层评估体系(L1自动评测每ckpt/L2 LLM-as-Judge每周/L3真人评测每月)、关键评测集速查(MMLU/GSM8K/HumanEval/IFEval/MT-Bench/Arena-Hard/AlpacaEval2/TruthfulQA/τ-Bench/BFCL)、LLM-as-Judge四大陷阱(Position/Length/Self-preference/格式偏好)、Reward Hacking检测(reward突增告警/rollout模式聚类/Cross-Verifier/人审sample)、数据归因TDA(消融/Influence Function EK-FAC/TracIn)、数据-训练-评估闭环(评测掉分→找数据→加量改质/某评测涨太多→检查污染/DPO长度漂移→加debias/RL reward暴涨→检查hacking)、数据卡片Datasheet
工具栈、案例与未来展望
工具栈(预训练: trafilatura/fastText/FineWeb-Edu/datasketch/Presidio/SentencePiece/DoReMi; 后训练: Self-Instruct/Magpie/UltraFeedback/OpenRLHF/TRL/MT-Bench)、平台建设(Spark/Ray/SLURM分布式/数据管理平台/溯源索引)、典型案例拆解(Llama 3: 15T高质量数据/DoReMi配比; DeepSeek-V3: MoE训练数据工程/R1纯RL; Qwen: 多语言数据)、未来展望(合成数据规模化Phi/Nemotron/主动学习/自适应数据工程/多模态数据工程/数据法律版权)