《AI数据全书》阅读指南

全书地图（31 章 / 8 篇）

篇	主题	章节
篇零	导论与数据范式	ch00 阅读指南 · ch01 为什么数据 · ch02 质量感知缩放律 · ch03 数据范式转移
篇一	预训练数据工程	ch04 采集 · ch05 文本抽取 · ch06 语种与质量 · ch07 安全去重隐私 · ch08 PII · ch09 Tokenization · ch10 配比与课程化 · ch11 预训练评估归因
篇二	中训练与数据治理	ch12 中训练总览 · ch13 数据溯源 · ch14 中训练数据 · ch15 灾难性遗忘
篇三	后训练数据工程	ch16 后训练总览 · ch17 数据来源 · ch18 SFT · ch19 偏好 · ch20 奖励模型 · ch21 推理RL · ch22 多轮Agent · ch23 后训练配比质量
篇四	合成数据工程	ch24 合成数据体系 · ch25 标注方法论
篇五	多模态与具身数据	ch26 多模态数据工程（VLM 数据全栈） · ch27 具身智能与机器人数据
篇六	基础设施与质量闭环	ch28 基础设施工具链 · ch29 质量评估闭环
篇七	案例、工具与未来	ch30 端到端案例·工具·未来

全书全景图

把 8 篇 31 章摊开在一张图上：左侧是数据喂养模型的全生命周期（篇一预训练 12 步管线 → 篇二中训练治理 → 篇三后训练 10 步 → 篇四合成数据”生成-验证-进化” → 篇五多模态与具身），篇六基建设施与质量闭环通过 L0 反馈虚线回指篇一配比，底部是 LLM4Data 反哺带（数据合成 / 智能标注 / LLM-as-Judge / Agentic 清洗 / VLM 自动标注），右栏列各阶段的代表数据集。

《AI数据全书》× DATA 全景总览图（对照 Data4LLM 综述版式）

---

全景概览：从万亿字节到对齐产品

大模型效果 70% 取决于预训练数据质量，后训练效果 90% 取决于数据质量。

两者加在一起：数据工程决定了一个模型从”能说话”到”说对话”的全部距离。

为什么需要数据工程？

2024 年以来，Llama 3、DeepSeek-V3、Qwen 系列的成功已经反复证明了一个结论：

同等算力下，数据质量提升 1 个量级，效果提升幅度大于模型参数提升 1 个量级。

这不是一句口号——FineWeb-Edu 在 MMLU、ARC 上的表现大幅超越未过滤的 FineWeb，数据质量过滤比模型规模翻倍带来的收益还大（HuggingFace, 2024）。DeepSeek-V3 用 MoE 架构和精心设计的数据配比，以不到 GPT-4 十分之一的训练成本达到了接近的效果。（这两条实证的完整展开见第 1 章。）

但”数据质量”这四个字背后，藏着一条长链路的工业流水线。从 Common Crawl 的原始 WARC 字节，到 GPU 上跑的定长张量，中间要经过采集、解析、语种识别、质量过滤、安全过滤、去重、脱敏、打标、配比、Tokenization、Packing……每一步都直接影响最终模型的能力。

预训练如此，后训练更甚。一条精心构造的多轮 trajectory，对模型行为的影响可能超过 1 万篇网页。10K 精选 SFT 的效果反超 1M 粗造——这是”少即是多”在后训练的实证。

数据工程不是辅助工作，是大模型训练的制胜核心。

两条流水线：预训练 12 步 + 后训练 10 步

完整的 AI 数据工程包含两条流水线，共 22 个核心环节。

预训练数据工程：12 步

#	阶段	核心动作	典型工具
1	采集 Acquisition	WARC下载、爬虫、镜像	Common Crawl, GitHub
2	解析 Parsing	HTML/PDF转纯文本	trafilatura, MinerU, NeMo Curator
3	语种识别 LangID	打语种标签	fastText, GlotLID, NeMo Curator
4	质量过滤 Quality	规则+模型打分	Gopher, FineWeb-Edu, NeMo Curator
5	安全过滤 Safety	毒性、违规内容剔除	Perspective, Detoxify, NeMo Curator
6	去重 Dedup	精确+模糊去重	MinHash, SimHash, NeMo Curator
7	隐私脱敏 PII	邮箱/电话/证件号脱敏	Presidio, NER, NeMo Curator
8	分类打标 Tagging	领域/类型/难度多维标签	分类器矩阵, NeMo Curator
9	数据混合 Mixing	按比例配方	DoReMi, RegMix, NeMo Curator
10	Tokenize+Packing	切token、打包	SentencePiece, tiktoken
11	课程化 Curriculum	训练顺序编排	Annealing策略
12	评估归因 Eval	消融、TDA、Scaling Law	Influence Function

后训练数据工程：10 步

#	阶段	核心动作	典型工具
1	Seed采集	收集种子任务、用户问题	OpenAssistant, ShareGPT
2	指令合成	Self-Instruct/Evol/Magpie	GPT-4, Claude
3	响应生成	强模型生成/人工撰写	GPT-4o, Llama-405B
4	偏好标注	Pairwise比较/多维评分	UltraFeedback
5	Verifier构建	数学/单测/规则判分	sympy, sandbox
6	质量过滤	IFD/Reward-Gap/多样性	Deita, perplexity
7	去污染	训练-评测集n-gram比对	13-gram, LSH
8	数据混合	任务/领域/难度三轴配比	YAML配方
9	格式化	Chat-Template/Tool注入	tokenizers
10	评估归因	消融、Reward-Hacking检测	MT-Bench, Arena

两条流水线的本质差异

维度	预训练	后训练
数据规模	10T~15T tokens	10M~10B tokens
单样本价值	极低（一篇网页）	极高（1条SFT≈1万条网页）
数据形态	自由文本	结构化(prompt-response/pair/trajectory)
关键指标	PPL、Scaling Law	评测胜率、人类满意度
成本主项	GPU算力	API Token+人工标注
清洗哲学	减法（3T→1T）	精炼（100万→10万）

规模差 1000 倍，但都遵循同一个法则：数据决定上限。

五层架构：从数据源到训练消费

把 22 个步骤按功能归类，整个 AI 数据工程可以分为 5 层 + 1 个反馈闭环：

L1 采集/来源层（决定上限）

• 预训练：Common Crawl、GitHub、arXiv、Wikipedia、书籍、StackExchange
• 后训练：人工标注、开源数据池(OpenHermes/Tulu-3)、模型合成(Magpie)、生产日志

能拿到什么数据决定能训出什么模型。这一层的核心是覆盖面和多样性。

HuggingFace Datasets 生态：HuggingFace Datasets 库已成为事实上的数据分发标准——100 万个公开数据集通过统一 API 即可一行代码加载（来源与日期：HF 官方《State of Open Models: Summer 2026》，2026-08-14 发布；同期口径为 296 万模型仓库、144 万 Spaces，数据集自 2026 年初的 71.1 万增至 100 万）。

为什么这次能改数字：本书 2026-09-17 曾因 HF 关闭 /api/datasets 的 X-Total-Count、下线 datasets-server/valid 而无法实时复核，只能保留「200K+」并补限定。本轮改用官方半年报的自述值而非 API 计数值，权威性更高且不依赖已下线端点，故关闭该待核实项。

⚠️ 两个口径打架，引用时须连同来源一起给：上引 100 万是 HF 自己的半年报口径；而 NVIDIA 在 2026-09-03 的官方收购公告里写的是「more than 3 million models, 500,000 datasets and 1 million applications」。同一时点、同一平台，数据集计数差了一倍。不要把两个口径的数混着用，也不要相减得出增长量。

FineWeb、DCLM、RedPajama-2 等顶级预训练语料，以及 OpenHermes、Tulu-3 等后训练数据集，均优先通过 HF Datasets 分发。对数据工程团队而言，HF Datasets 不仅是获取数据的入口，更是了解”行业标准数据集是怎么构建的”的最佳学习资源（见课后练习 2）——但「学习资源」这个定位有一个前提，见下条。

平台归属变化与供应链集中度（2026-10-08 补）：2026-09-03，NVIDIA 官方博客宣布 已同意以 129.303 亿美元收购 Hugging Face（原文：“NVIDIA has agreed to acquire Hugging Face for $12,930,300,000”，署名 Jensen Huang）。公告同时承诺 HF 保持开放平台、NVIDIA 算力不作为在 HF 上构建或部署的前置条件。对数据工程团队的具体含义：本书反复引用的 FineWeb / DCLM / RedPajama-2 / OpenHermes / Tulu-3 等公开基准数据集，其分发方现为一家芯片与全栈 AI 方案供应商的子公司。这不改变这些数据集的技术内容，但改变了获取通道的单点依赖结构——建议在自建管线中对关键语料做本地镜像 + 版本锁定，不要只留 HF 上的远程引用。

同向的第二条信号：HF 2026-08-14 报告指出，在 178 个 20B 以上的中国开源发布中，59% 用 Apache 2.0、22% 用 MIT、几乎不带非商用限制；但最近几周头部大模型开始转向——Kimi K3 与 Qwen 3.8 2.4T 开始附加非商用限制与收入分成条款。「权重免费」正在向「条款化」漂移，数据集许可同样应纳入入库前检查项。

措辞纪律：上述收购为「已同意（agreed to acquire）」，交割与反垄断审查状态本书未核，正文不得写成既成事实。

L2 清洗/构造层（工程量最大）

• 预训练：HTML/PDF解析、Gopher规则过滤、FineWeb-Edu模型打分、MinHash去重、PII脱敏
• 后训练：指令合成(Self/Evol/Magpie)、响应生成(GPT-4/Best-of-N)、偏好标注(UltraFeedback/RLAIF)、Verifier构建

预训练做减法（3T→1T），后训练做精炼（100万→10万）。 这一层是整条流水线工程量最大的部分。

端到端工业方案：NVIDIA NeMo Curator 1.3.0（26.07，2026-07-27 发布）是当前最完整的开源数据整理工具链，覆盖了预训练 L2-L4 层的全部核心环节——从 HTML 解析、语种识别、质量/安全过滤、去重、PII 脱敏，到多维打标和数据混合配比。

本书的版本号体例：NVIDIA 用 YY.MM 发布号（26.02 / 26.04 / 26.07），PyPI 用 语义化版本号（1.1.0 / 1.2.0 / 1.3.0）。本书统一在首次出现处同时标注两者（如「26.07（v1.3.0）」）。本章此前写的 1.2.0（26.04）依然成立，26.07 是在其上的叠加升级；时间线为 1.0.0（2025-10-01）→ 1.1.0（2026-02-23）→ 1.2.0（2026-05-14）→ 1.3.0（2026-07-27）（PyPI 一手）。

两处地址已迁移（2026-10-08 一手）：仓库已从 NVIDIA/NeMo-Curator 301 永久重定向至 NVIDIA-NeMo/Curator；文档站现址为 docs.nvidia.com/nemo/curator/latest/（旧址是 nemo-framework user-guide 下的 datacuration）。凡本书其他章节（尤其 ch28）引用旧链接的，须一并更新。

记一笔「未变」：2026-10-08 复测，最新 release 仍为 v1.3.0（2026-07-27），官方文档站版本列表止于 26.07，无 26.08 / 26.09 → 本章版本号体例段的时间线继续成立。

26.04 起它已不再是纯文本框架。 26.07 同时覆盖音频（ASR/TTS 准备流水线：重采样、说话人分离、长段切分、带宽估计与 SQUIM 质量打分、成对 WER 评分）、视频（caption 质量评估，用 Cosmos-Embed1 余弦相似度评测视频-文本对齐）、OCR 合成数据生成（OCRNemotronV2Stage + 可选的 OCRScoringQAStage），以及 MINT-1T 风格的图文交错（interleaved image-text）数据处理。对本书而言，这条扩展线直接对应篇五多模态与具身数据（ch26/ch27）——同一套 Curator 管线，在篇一处理文本、在篇五处理多模态，底座是同一个。工程侧另有两项值得注意的能力：流水线可断点续跑（checkpoint_path + LMDB 记录已完成分区）与 SLURM job array 分片。其 GPU 加速管线可以在数小时内完成 TB 级数据处理，是工业级数据工程的推荐底座。 NVIDIA 官方客户案例（韩国 Trillion Labs）给出了一个可量化的验证：用 NeMo Curator 的 GPU 管线处理 1.7T tokens 韩语语料，数据整理时间从 CPU 的约 24 小时缩短到 8×H100 的约 3.4 小时（约 7 倍加速），成本与能耗节省约 10 倍，其中去重是收益最显著的环节；配合 100B tokens 精选数据还实现了韩语准确率 +5%。后训练侧，NeMo Curator 也提供了合成数据相关模块（26.07 的 synthetic-data curation 扩展与 Nemotron OCR 合成数据生成）。

选型要同时看代价。 26.07 是一次破坏性升级，官方迁移清单中与「是否把它当底座」直接相关的几条是：Python 要求为 >=3.11,<3.14——即支持 3.11–3.13，3.14 亦被排除（PyPI 元数据一手，2026-10-08 复测）。上界这条尤其要紧：团队若已升到 3.14，会在 pip install 阶段直接失败，而报错信息通常不会指向「版本上界」。此外还有：task_id 改由框架自管（Task.task_id 设了 init=False，自定义 stage、reader、task 都不能再手动传值或赋值，否则直接报错）；EmptyTask 从对象改为类，需实例化并用 isinstance 判空；推理服务端配置改为类型化的 Ray Serve / Dynamo 配置；aarch64 与 macOS 上 nemo_text_processing 不再可用（影响 ITN/WER stage）。也就是说，把 NeMo Curator 当底座不只是引入一个库，还要把运行环境与自定义 stage 的写法一起纳入版本管理——完整迁移速查见 ch28。

⚠️ 三处需要读者自行核实的旧表述：① 本书多处把 PII 脱敏列为 NeMo Curator 的能力之一（见上文 12 步表第 7 步）。2026-09-17 核查 NVIDIA 官方文档站 sitemap（617 个页面）时，未检索到任何 PII / redaction / decontamination 相关页面，第三方资料亦指出 PiiModifier 与 TaskDecontamination 只存在于 0.9.0（Dask 时代）、1.x 已移除。本书暂保留原表述，但读者在设计管线前应先在当前版本中确认这两类 stage 是否仍可用。② 本章此前写「NeMo Curator 提供指令合成、偏好标注和去污染等模块（详见篇三 ch16-ch23 相关工具说明）」——该指针已删除：enc-ch16~enc-ch23 八章全无 NeMo Curator 内容，且「去污染」在 26.07 release notes 中查不到依据。 ③ 1.x 是 API 级重写，不是版本升级（2026-10-08 补）。1.x 围绕 Ray 重写为 Pipeline + ProcessingStage + executor 的执行模型，0.x 的 DocumentDataset 加 nemo_curator.modules.* / ScoreFilter / Modify「把对象当函数调用在 dataset 上」的写法已整体移除；安装方式也改为带 extras 的形式（PyPI 归一化后 extras 用连字符，如 text-cuda12、text-cpu、deduplication-cuda12，2026-10-08 于 PyPI 元数据一手确认）。市面上大量教程与 agent skill 仓库仍在流通 0.x 示例——照抄会全盘报错。请以官方 tutorials/quickstart.py 与各 modality guide 为准。（①说的是能力可能没了，③说的是写法一定变了。）

配比环节在 26.07 有了工业级闭环。 上文 12 步表第 9 步「数据混合 Mixing」把 DoReMi / RegMix / NeMo Curator 三者并列——这个并列关系在 26.07 之后变了。DoReMi / RegMix 提出的「用 proxy model 试配比 → 拟合预测器 → 迭代收窄」此前一直是论文方法，26.07 新增的 Nemotron-CLIMB 把它做成了可运行的工作流：先对候选文档做嵌入与聚类，用 FastText 分类器剪枝并合并语义簇，产出 Megatron 可直接消费的 .bin/.idx；随后采样 Dirichlet 数据混合、训练并评估 proxy model、拟合 LightGBM 预测器，把搜索空间从 64 个候选配比逐级收窄到 32 → 16 → 最终配比。官方同时给出了代价：这是「an advanced, compute-intensive recipe」，论文规模的一次完整搜索要训练并评估 112 个 proxy model，官方建议「先在小型语料上验证每个 stage，并把 proxy 训练预算与策展预算分开计算」。CLIMB 论文本体（NeurIPS 2025）则贡献了 1.2T-token / 20 簇的过滤语料 Nemotron-ClimbLab 与 400B-token 的高质量子集 Nemotron-ClimbMix（论文设定：1B 模型在 400B tokens 上训练，超过 Llama-3.2-1B 2.0%）——这两个是论文本体产出的数据集，不是工具默认行为。这条流水线是篇一 ch10 配比与课程化的直接工业参照。

L3 治理层（合规与可调度性基础）

• 预训练：安全过滤、PII脱敏、多维打标(领域/类型/难度/教育价值)
• 后训练：IFD/Deita质量打分、去污染(13-gram比对20+评测集)、拒答检测、多样性筛选

不打标就无法配比，不去污染评测就无效。 这一层是合规底线和精细调度的基础。

L4 配比与格式层（决定模型性格）

• 预训练：静态/动态/学习式配比(DoReMi/RegMix)、阶段化配方(Pretrain→Midtrain→退火→长文)、Tokenization+Packing
• 后训练：任务/领域/难度三轴配比、SFT→DPO→RL阶段化配方、Chat-Template适配

配比就是炒菜的火候和调味——同样的食材，配方决定味道。 多代码→编程强、多论文→推理强、多对话→闲聊感强。

L5 训练消费层（产出物）

• 预训练：4类数据集——Pretrain一阶段(10-15T)、Midtrain(1-3T)、退火(50-500B)、长文(50-200B)
• 后训练：3类数据集——SFT(100K-10M条)、偏好(50K-1M条)、RL/RLVR(10K-500K条)

L0 反馈闭环层（工业级分水岭）

• 预训练：数据探针、消融实验、Influence Function、Scaling Law拟合→调整配比/阈值
• 后训练：MT-Bench/Arena/LiveBench评测、Reward Hacking检测、TDA归因→修Verifier/补长尾

有无反馈闭环，是区分初级和高级数据团队的分水岭。 没有评估的数据工程是盲修——所有改动都只是猜测。

Agentic Data Engineering 前沿方向：2026年1月，上海交大/清华/Microsoft/MIT CSAIL/上海AI Lab/小红书联合发布的综述 Can LLMs Clean Up Your Mess?（arXiv:2601.17058）系统梳理了一个新兴范式——让 LLM 自身作为 Agent 参与数据准备全流程。具体而言，LLM 可以自动生成数据清洗规则、检测异常模式、合成高质量标注，甚至在人工反馈引导下迭代优化数据处理管线。这一范式有望将 L0 反馈闭环从”人工分析+手动调参”升级为”Agent 自主发现+自我修正”，是有望重塑数据工程工作流的下一代方向。本书 ch22（多轮与 Agent 数据） 将展开 Agent 数据工程与 Agentic 数据工程的关系——ch22 的核心论点是「Agent 数据工程与 Agentic 数据工程是同一枚硬币的两面」。该综述的官方全称为 Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs（2026-01-22）。

环境即数据（Environment Factory）：Agent 训练的数据边界，正在从”静态文本样本”扩展到”可执行环境”。2026 年一条新研究路线把环境构建转化为程序合成——EnvScaler（EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis，arXiv:2601.05808，2026-01-09，人大 NLPIR）用 LLM 自动生成带状态、规则与工具逻辑的可执行 Python 环境，单个环境成本仅约 1 美元，程序化合成了 191 个环境 / 约 7K 任务场景；AgentScaler（2026-06）进一步以 3 万+ API 构造 1000+ Domain，提出”环境的 Scaling Law”。这意味着 Agent 数据流水线需要新增「环境构建 / 状态初始化 / 任务生成 / 轨迹验证」等环节，且前沿已从”环境数量”向”环境分布（多样性 × 难度结构）“演进（详见第 22 章多轮与 Agent 数据）。

数据流转全景

一条数据从”原始字节”到”上线模型”的完整旅程：

预训练链路:
  Common Crawl WARC
    → trafilatura解析 → 纯文本
    → fastText语种识别 → 分流(zh/en/code)
    → Gopher规则过滤 → 去噪
    → FineWeb-Edu打分 → 高质量子集
    → MinHash+LSH去重 → 去重文档
    → Presidio脱敏 → 合规文档
    → 分类器打标 → 带标签文档池
    → DoReMi配比采样 → 配方文本流
    → SentencePiece Tokenize → token序列
    → Best-Fit Packing → 定长张量(8K/32K)
    → GPU训练 → Pretrain/Midtrain/退火/长文 ckpt

后训练链路:
  种子任务 + 开源数据 + 生产日志
    → Magpie/Evol合成 → prompt池
    → GPT-4o/Llama-405B生成 → response
    → UltraFeedback/RLAIF标注 → 偏好对
    → sympy/sandbox Verifier → RL prompt
    → IFD/Deita质量打分 → 精选池
    → 13-gram去污染 → 清洁数据
    → 三轴配方采样 → 训练数据流
    → Chat-Template格式化 → SFT→DPO→RL训练
    → MT-Bench/Arena评测 → 反馈调整

性能瓶颈点

预训练流水线中，解析（步骤2）、LSH比对（步骤9）、装箱（步骤19）是最耗时的三个环节，通常需要Spark/Ray/SLURM等分布式框架支撑，单机几乎不可能完成TB级处理。

后训练流水线中，响应生成（强模型API调用）、RL rollout、Verifier调用（沙箱并发）是最大开销。一份100万条SFT用GPT-4合成可能花5-20万美元——后训练是”API Token为王”，与预训练”算力为王”完全不同。

各步骤价值排序

从”做与不做”的边际收益看：

价值层级	预训练	后训练
💎 决定性价值	质量过滤、去重、配比	指令多样性、响应质量、Verifier可信度
🔧 工程必需	采集解析、Tokenize+Packing、评估归因	去污染、Chat-Template适配、评估闭环
⚖️ 合规底线	安全过滤、PII脱敏	安全SFT、拒答数据平衡
🎯 锦上添花	课程化、精细打标	课程化、精细打标、Agent trajectory

工程经验

1. 初期资源有限时，优先把”决定性价值”三件事做扎实，回报最高
2. 合规相关属于”做不好不行，做好了不加分”的工作
3. 建立评估归因闭环是从”靠经验”到”靠数据驱动”的分水岭

阶段产物：预训练 4 类 + 后训练 3 类

整条预训练流水线的最终产物，按训练阶段切分为 4 类数据集：

阶段	定位	配比特点	典型规模
Pretrain一阶段	建立通用语言能力	网页60%+代码15%+书籍10%+数学10%+多语5%	10T~15T tokens
Midtrain二阶段	注入推理/代码/数学能力	代码30%+数学20%+推理链15%+网页25%+其他10%	1T~3T tokens
退火Annealing	收尾提分（小学习率）	FineWeb-Edu精选50%+数学/代码30%+SFT风味20%	50B~500B tokens
长文Long Context	扩展上下文窗口(4K→128K+)	拼接长文档、书籍、代码仓库+Position重训	50B~200B tokens

后训练流水线产出 3 类数据集：

阶段	定位	数据形态	典型规模
SFT	教会基本对话/指令遵循	(prompt, response)	100K~10M条
偏好对齐(DPO/RM)	教会人类偏好	(prompt, chosen, rejected)	50K~1M条
RL/RLVR	在可验证任务上自我进化	(prompt, verifier)	10K~500K条

Tulu-3标杆配方：SFT 939K + DPO 271K + RLVR 30K。这是开源世界最完整的工业级后训练数据集。

全景小结

• AI数据工程 = 预训练12步 + 后训练10步，共22个核心环节
• 5层架构：采集/来源 → 清洗/构造 → 治理 → 配比/格式 → 训练消费，加反馈闭环
• 预训练产出4类数据集(Pretrain/Midtrain/退火/长文)，后训练产出3类(SFT/偏好/RL)
• 价值排序：质量过滤+去重+配比（预训练）/ 指令多样性+响应质量+Verifier（后训练）是决定上限的核心
• 有无评估闭环是初级与高级团队的分水岭

课后练习

1. 画出你团队当前数据工程实际链路，对照本章22步看缺哪几步
2. 查询 FineWeb-Edu 数据集卡片，理解一个开源高质量数据集是怎么构建的。 提示：不要用榜单热度挑学习对象。 HF 2026-08-14 报告实测：按今年下载量排的 top 25 与按点赞排的 top 25 只有一个仓库重合，2026 年发布的模型无一进入下载 top 25（其中 13 个来自 2022 年）；all-MiniLM-L6-v2 七个月被拉取 15.5 亿次，却只有 5,156 个赞。想学「行业标准数据集是怎么构建的」，更有效的指标是衍生品数量与被下游管线引用的程度（例：Qwen 有 151,448 个衍生仓库，约为 Meta 总盘子的 2.6 倍、Llama 系列的 4.7 倍）。
3. 对照 Tulu-3 公开配方，画出你团队后训练的实际链路
4. 思考：如果只能保留预训练12步中的3步，你会保留哪3步？后训练呢？

---

阅读路线

• 快速上手：篇零 → 篇一（预训练）→ 篇三（后训练）
• 理论深挖：篇二（中训练）+ 篇四（合成数据）
• 工程落地：篇六（基础设施）+ 篇七（案例）
• 前沿扩展：篇五（多模态数据工程 + 具身智能与机器人数据）