章节导航第 22 章 / 共 23 章

第 22 章第六部分：实战与展望

数据工程的未来

数据墙、多模态、Agent 数据与开放问题

最后更新：2026年8月3日未来展望数据墙多模态 Agent

“预测未来最好的方法是创造它。” 从 GPT-3 到 DeepSeek-R1，短短五年间数据工程经历了多次范式转变。本章试图描绘接下来几年可能发生的变化——不是作为预言，而是作为一张值得探索的地图。

22.1 即将到来的变化

22.1.1 数据墙（Data Wall）：已被突破的天花板

问题的本质：

人类文明积累的高质量互联网文本总量大约在 10-15T tokens 的量级。当前最大的模型（Llama 3 训练了 15T tokens）已经逼近甚至触及了这个天花板。去重后的高质量文本就更少了——FineWeb 2 的全量去重数据也不过约 15T tokens。

互联网高质量文本的供给曲线（估算）

    可用量
    (T tokens)
    15 |            ┌──────── 天花板 ───────
       |          ╱
    10 |        ╱
       |      ╱
     5 |    ╱
       |  ╱
     0 |╱
       +──────────────────────────────
       2020   2022   2024   2026   2028

问题：2026 年之后，高质量互联网文本的增量已经
     无法满足模型规模的指数增长需求。

但是——数据墙已在 2026 年被实际突破 ：

2026 年上半年的关键数据表明，数据墙不再是理论上的威胁，而是一个已被工程手段突破的现实：

合成数据占比飙升：新训练 token 中合成数据占比从 2023 年的 26% 增至 2026 年的 60%+（部分研究引用 68% 估算值）——合成数据已从”补充”变为”主力”
模型崩溃率 < 2%：在严格的验证-拒绝管道下，合成数据导致的模型崩溃率已降至 2% 以下
验证驱动成为关键：不是”合成数据有无风险”的问题，而是”验证管道是否足够严格”的问题

这意味着：从”被动利用互联网存量数据”到”主动构造高信息密度的训练信号”的范式转变已经完成。 数据墙曾推动了合成数据、验证驱动、Agent 轨迹等创新方向的发展，但结果不是”绕过”了数据墙，而是”突破”了它。

2025-2026 数据集 4-5× 规模扩张（数据墙的工程化回答）

数据集	2024 规模	2026 规模	扩张倍数	维护者
FineWeb	1.5T	FineWeb 2 ~10T	6.7×	Hugging Face
RedPajama	v1 1.2T	v2 ~30T	25×	Together AI
Dolma	1.6T	Dolma 3 ~6T	3.75×	Allen AI
Nemotron-CC	—	6.3T	新增	NVIDIA
Common Pile	—	~1T (8TB)	新增	Allen AI + EleutherAI
Zyda	—	Zyda 2 5T	新增	Zyphra

前沿模型实际训练 token（与数据集规模脱钩）：

模型	训练 token	相对 Chinchilla 倍数
Llama 3.1 8B	15.6T	~1950×（7B 模型 1875×）
DeepSeek-V3	14.8T	~370×（671B 模型）
Qwen 3	~36T	~300×（最大变体）

关键结论：

数据集规模 4-5× 扩张 + 商业级蒸馏（Nemotron-CC 4 阶段）+ fully-permissive 合规（Common Pile）+ 多语言高质量过滤（FineWeb 2）三路并行
趋势从”原始 CC dump”到”重过滤+去重+分类器评分子集”——数据墙的工程化回答不是绕过，而是”重过滤 + 合成”双轮驱动
7B 模型过训练 5-7× 已成主流（参考 Llama 3.1 8B 的 15.6T），实际需要 1T-2T tokens 训练预算

后数据墙时代的核心挑战 ：

数据墙被突破后，新的挑战浮出水面：

挑战	说明	当前状态
质量天花板	合成数据受限于教师模型能力，天花板效应明显	研究前沿
分布偏差	合成数据的分布窄于真实数据，长尾覆盖不足	工程可缓解
验证成本	高质量验证管道的计算成本可能超过训练本身	持续优化中
混合比例	合成 vs 真实数据的最优混合比例尚无定论	经验驱动

应对策略矩阵（已更新）：

策略	成熟度	效果	风险
合成数据	✅ 成熟	已成主力（60%+ 占比）	分布偏差、验证成本
多模态数据	快速发展中	开辟新数据源	标注成本高
数据效率优化	研究前沿	同量数据训练效果更好	理论不完善
Agent 交互数据	早期落地	全新数据类型	质量参差不齐
无环境 Agent 数据	研究突破	无需搭建环境，降本增效	教师模型依赖
主动数据收集	早期探索	针对性强	成本和伦理问题
数据重复使用	有争议	简单直接	收益递减，过拟合

🔮 我的判断：数据墙不是一个需要绕过的弯道，而是一面已被工程手段突破的墙。2026 年的真正挑战不再是”数据够不够”，而是”数据好不好”——质量天花板、分布偏差、验证成本构成了新的约束三角。

⚠️ “文本数据墙”与”Agent 数据墙”是两种性质不同的瓶颈。文本数据墙的核心约束是高质量自然语言 token 的稀缺性——合成数据通过模型生成补充了这一缺口。Agent 数据墙的核心约束是”环境的物理成本”——每新增一个应用组合需要搭建全套沙盒环境（服务器+数据库+接口），且边缘案例覆盖依赖运气而非系统生成。2026 年 7 月 Apple 的 ESAT（见 §22.1.4）为 Agent 数据墙提供了类似”合成数据突破文本数据墙”的潜在路径——用模型的想象力替代物理环境。理解两类瓶颈的本质差异，有助于数据工程师为不同阶段制定正确的突破策略。

22.1.2 合成数据的未来

合成数据是应对数据墙最直接的方案，但它的演进方向值得深思。

当前：第一代合成数据

方法：用 GPT-4/Claude 直接生成
特点：质量受限于教师模型能力
问题：多样性不足、存在系统性偏差、有 Model Collapse 风险

未来：第二代合成数据

第二代合成数据的四大特征：

1. 验证驱动（Verification-driven）
   ┌─────────────────────────────────────┐
   │ 生成 → 验证 → 反馈 → 再生成        │
   │ 不是"生成即可用"，而是"验证后可用"  │
   └─────────────────────────────────────┘

2. 环境交互（Environment-grounded）
   ┌─────────────────────────────────────┐
   │ 模型在环境中行动 → 收集轨迹数据     │
   │ 代码执行、工具调用、网页浏览        │
   └─────────────────────────────────────┘

3. 自我博弈（Self-play）
   ┌─────────────────────────────────────┐
   │ 多个模型相互博弈 → 产生新的训练信号 │
   │ 类似 AlphaGo 的自我进化             │
   └─────────────────────────────────────┘

4. 课程化（Curricular）
   ┌─────────────────────────────────────┐
   │ 根据模型当前能力动态调整合成难度     │
   │ 始终保持在"最近发展区"               │
   └─────────────────────────────────────┘

2026：第三代合成数据——推理优先（Reasoning-first）

第二代合成数据的验证驱动模式已大规模落地，但 2026 年出现了更深层的范式转变：不是先有数据再训练推理能力，而是先构造推理链，再由推理链生成数据。

第三代合成数据的核心逻辑：

传统方向：数据 → 模型 → 推理能力
                    （希望涌现）

第二代方向：生成 → 验证 → 可用数据
                    （过滤式）

第三代方向：推理链 → 数据 → 模型
                    （构造式，反转因果）

第三代的关键方法：

方法	来源	核心思想	效果
Reasoning-first	Google/EPFL Simula	先构建推理链，再由推理链生成数据，反转”数据→推理”的传统方向	推理密度高，多样性好
SynthLLM	微软亚洲研究院	系统性合成高质量预训练数据：知识图谱→教材→习题的结构化教学生成	信息密度显著高于直接生成
自博弈+验证收敛	多团队	不仅是生成-过滤，而是生成-验证-迭代-收敛的完整循环	崩溃率 < 2%，质量持续提升
隐私保护合成	AWS Clean Rooms 等	企业级隐私保护环境下的合成数据生成	解决数据合规瓶颈

代际演进总结：

代际	核心范式	关键技术	风险控制
第一代（2023）	直接生成	GPT-4/Claude 生成	无
第二代（2024-2025）	验证驱动	生成→验证→反馈→再生成	过滤式，崩溃率 ~5%
第三代（2026）	推理优先	推理链→数据→模型	构造式，崩溃率 < 2%

微软 SynthLLM 框架给出了一个有价值的方向：不是让模型直接生成答案式数据，而是让模型设计”知识图谱 → 教材 → 习题”这样的结构化教学内容。这种方法产生的合成数据信息密度更高，多样性也更好。微软 Synthetic Data Showcase 持续演进，提供结构化教学数据生成的完整工具链。

值得注意的是，验证驱动（Verification-driven）的合成方法正逐步成熟——从”生成即可用”转向”验证后可用”。结合 Agent-based Data Preparation Systems 的初步探索（arXiv: 2603.14712），合成数据的技术栈正在从手工设计走向自动化管线。

🔬 工业级参考：Poolside Hive 六组件编排架构（2026-07 公开）。合成数据工程的一个关键趋势是从”固定多阶段脚本”向”自适应编排框架”升级。Poolside 的 Hive 框架将数据生成流程分解为六个可组合组件：Seeds（原始输入）→ Metadata（任务类型/难度/语言等副指令）→ Generator（LLM Agent 加工具）→ Filters/Validators（正确性/去重/格式）→ Orchestrator（动态调度——根据质量门控实时决定”下一步执行哪个 Agent""是否注入新元数据""是否回退到上一步”）→ Supervisor（全局终止条件与部分结果聚合）。四种流水线形态对应不同成本-质量权衡：Rephrasing（单 Agent 低成本）、Multi-stage Aggregation（分解复杂任务为子步骤）、Cross-domain Porting（模态转换如数学→代码）、Multi-turn Evolution（Evolver+Judge 迭代）。Hive 的核心启示：Orchestrator 层的动态调度将合成数据生成从”确定性流水线”升级为”自适应智能工作流”——未来的数据工程平台可能不再是预设的管道配置，而是”元管道”——由数据工程师定义组件和规则，由 Orchestrator 动态组合执行路径。

2026：第四代合成数据——工具 Agent 合成范式（Tool-Use Synthesis）

第三代”推理优先”范式解决了推理密度问题，但 2026 年下半年的实战暴露出新需求：模型不仅要会”想”，还要会”用工具”。这推动了第四代工具 Agent 合成范式——直接以”工具调用”为数据单元合成。

第四代工具	规模	核心方法	效果
TOUCAN	1.5M 工具轨迹 / ~500 MCP 环境	从近 500 个真实 MCP 环境合成多轮工具调用轨迹（并行/多步/多轮/边缘案例）	BFCL v3 训练的开源模型超越闭源模型（SOTA）
ASTRA	1,585 MCP / 19,036 工具 / 14B/32B 模型	工具调用图合成多轮结构化轨迹（SFT）+ QA 分解构造可验证 Python 环境（RL）	BFCL v3 / τ²-Bench / ACEBench 三基准 SOTA
MCP-Flow	1,166 servers / 11,536 tools / 68,733 pairs	MCP 工具池 + 工具调用图结构化合成	大规模工具对数据集
APIGen-MT	多轮 agent 训练数据	多轮工具调用合成（Salesforce/XLang 团队）	2026 多轮 agent 训练新范式

第四代范式的方法论三阶段：

MCP 工具池构建：从公开 MCP Registry 收集 N 个服务器、M 个工具
工具调用图合成：将工具依赖关系建模为图，按图遍历生成多轮结构化轨迹（而非线性拼接）
可验证环境构造：QA 分解构造可验证 Python / Web 环境（避免 hallucinated 反馈），支撑 RL 训练

与第三代的区别：

维度	第三代：推理优先	第四代：工具 Agent
数据单元	推理链 + 答案	思考→工具调用→观察→再思考
验证方式	答案正确性	任务是否成功完成 + 工具调用正确性
训练目标	推理能力	工具协作 + 推理能力
典型数据集	SynthLLM / Reasoning-first	TOUCAN / ASTRA / MCP-Flow / APIGen-MT

ASTRA 的工程创新点：

工具调用图合成而非线性拼接：避免”看起来合理但工具不兼容”的假数据
QA 分解构造可验证环境：RL 阶段有 ground-truth 反馈，避免 reward hacking
SFT + 在线 RL 两阶段统一：单一框架同时处理两个训练阶段

🔮 我的判断：第四代工具 Agent 合成范式将在 2026-2027 年成为 Agent 训练的事实标准。从”模型能想”到”模型能用工具解决问题”是 Agent 产品化的最后一步。

22.1.3 多模态数据：下一个数据洪流

互联网上的文本数据在逼近天花板，但视觉数据、音频数据、视频数据的可用量还远未被充分挖掘。

多模态数据的规模估算：

模态	估算可用量	当前利用率	潜力
文本	10-15T tokens	~80%	低（接近饱和）
图文对	100B+ 对	~20%	高
视频	数十亿小时	<5%	极高
音频/播客	数十亿小时	<5%	极高
代码+执行轨迹	无限（可生成）	<10%	极高
3D/空间数据	快速增长	<1%	极高

多模态数据工程面临的新挑战：

对齐问题：图片和文字的语义对齐、视频和旁白的时序对齐
质量定义：多模态数据的”质量”比纯文本更难定义和度量
处理成本：视频数据的存储和处理成本比文本高 100-1000 倍
标注复杂度：多模态标注需要更复杂的标注协议和更专业的标注员
去重难度：跨模态的语义去重是尚未解决的问题

22.1.4 Agent 数据：从对话到行动

2025-2026 年，AI Agent 从概念走向产品。Agent 需要一种全新类型的训练数据——行动轨迹数据（Action Trajectory Data）。

传统对话数据:
  User: "帮我查一下明天的天气"
  Assistant: "明天北京多云，最高温度 25°C..."

Agent 轨迹数据:
  User: "帮我查一下明天的天气，如果会下雨就帮我在日历上标注带伞"
  
  [Thought] 需要先查天气，然后根据结果决定是否操作日历
  [Action] call_api("weather", location="北京", date="tomorrow")
  [Observation] {"condition": "rain", "temperature": "18°C", ...}
  [Thought] 会下雨，需要在日历上添加提醒
  [Action] call_api("calendar", action="add_event", ...)
  [Observation] {"status": "success", "event_id": "..."}
  [Response] 明天北京有雨，18°C。我已经在你的日历上标注了"带伞"提醒。

Agent 数据构造的核心挑战：

环境多样性：Agent 需要在各种环境中行动——网页、API、文件系统、数据库。每种环境需要不同的数据
错误恢复：好的 Agent 数据不仅包含成功轨迹，还要包含错误-恢复的轨迹
规划与反思：需要包含显式的思考过程（CoT），而不仅是 action 序列
安全边界：Agent 可以”真正”操作系统，因此安全约束的数据尤为重要

MCP 协议：Agent 数据采集的标准化基础设施：MCP（Model Context Protocol）已突破 9700 万安装量（2026-03），成为 Agent 工具调用的行业标准协议。MCP 工具调用记录天然具有结构化格式（工具名→参数→结果），是理想的 Agent 轨迹数据来源。通过 MCP Session 的完整消息历史，可以高效采集高质量的 Agent 交互数据。建议将 MCP 协议数据采集纳入 Agent 数据工程的标准管线。

2026 Agent 数据三大 2026 数据集

数据集	规模	工具来源	训练范式	关键创新
TOUCAN	1.5M 轨迹 / ~500 MCP	真实 MCP 环境	SFT	从真实环境合成多轮/并行/多步/边缘案例
ASTRA	1,585 MCP / 19,036 工具 / 41 领域	公开 MCP Registry	SFT + RL 两阶段	工具调用图合成 + QA 分解可验证环境
MCP-Flow	1,166 servers / 11,536 tools / 68,733 pairs	公开 MCP Registry	SFT	大规模工具对数据集

ASTRA 的工程创新详解（链家科技 arXiv:2601.21558, 2026-01-30）：

SFT 阶段：工具调用图合成多轮结构化轨迹——不是”线性拼接”而是”图遍历生成”，避免”看起来合理但工具不兼容”的假数据
RL 阶段：QA 分解构造可验证 Python 环境——RL 阶段有 ground-truth 反馈，避免 reward hacking
统一训练框架：SFT + 在线 RL 两阶段统一，14B/32B 模型在 BFCL v3 / τ²-Bench / ACEBench 达 SOTA
开源：完整 pipelines + environments + trained models at https://github.com/LianjiaTech/astra

TOUCAN 的方法论创新（AGI Frontier, 2026-07）：

从近 500 个真实 MCP 环境合成 1.5M 工具智能体轨迹——无需人类标注
覆盖并行/多步工具调用、多轮对话、边缘案例
训练的开源模型在 BFCL v3 基准上超越闭源模型（SOTA）

Agent 数据工程方法论三阶段：

MCP 工具池构建：从公开 MCP Registry 收集 N 个服务器、M 个工具（ASTRA 1,585/19,036、TOUCAN 500+）
工具调用图合成：将工具依赖关系建模为图，按图遍历生成多轮结构化轨迹
可验证环境构造：QA 分解构造可验证 Python / Web 环境（支撑 RL 训练，避免 hallucinated 反馈）

Agent 数据的未来架构：

层次	数据类型	构造方法
基础能力层	工具调用格式数据	模板合成 + 人工验证
环境交互层	成功/失败轨迹	沙盒环境自动采集
规划推理层	多步骤推理链	强模型蒸馏 + RL
自主执行层	目标设定与自主规划数据	/goal 类命令的隐式规划链
安全约束层	安全边界案例	红队测试 + 规则生成
自我改进层	反思-修正轨迹	自我博弈 + 人工审核

⚠️ 范式转移：无环境 Agent 轨迹合成——ESAT（Apple, arXiv:2607.16900, 2026-07）。以上 Agent 数据构造路径都基于一个共同假设：必须先搭建真实环境（沙盒）才能生成数据。Apple 研究团队的 ESAT（Environment-Free Synthetic Agentic Trajectory）挑战了这一假设。其核心机制是让 LLM 扮演”双簧”：一个 LLM 模拟数字世界（返回逼真的系统响应），另一个 LLM 扮演 AI 助手执行任务——仅凭一份接口说明书即可自动生成完整的 Agent 操作轨迹。关键数据：ESAT-AW7 从 3 万候选任务中通过四层质量控制（参数完整性→模拟器重试→裁判评估→最终筛选）产出 9,352 条高质量轨迹；用 ESAT 数据训练的模型在 AppWorld 基准上普通任务 84.2% 成功率，挑战性任务 79%，混合真实数据后额外提升 4.1-15.3%。这种范式转化的意义：如果 ESAT 路线规模化，Agent 数据工程的重心将从”建环境”转移到”写接口说明书→合成流水线”——而接口说明书恰恰是正常软件开发的标准产出物。这意味着未来 Agent 数据的生产可能像软件开发一样可标准化、可流水线化、可自动化。

22.1.5 持续学习：模型如何不断从新数据中学习

当前的大模型训练范式是”训练一次，部署很久”。但这带来一个根本问题——模型的知识会过时。

持续学习的数据挑战：

挑战 1: 知识更新 vs 遗忘
  - 注入新知识时如何不破坏旧知识？
  - 中训练的回放策略是初步方案，但不够优雅
  
挑战 2: 增量训练的数据策略
  - 每周/每月有新数据到来
  - 哪些旧数据需要保留？哪些可以丢弃？
  - 新旧数据的配比如何动态调整？
  
挑战 3: 灾难性遗忘的长期管理
  - 经过 10 次增量训练后，最初的能力还剩多少？
  - 有没有"数据保鲜期"的概念？

挑战 4: 数据流的质量保证
  - 持续到来的数据如何保持一致的质量标准？
  - 自动化质量监控如何适应数据分布的漂移？

🔮 我的判断：未来的大模型数据工程不再是”一次性项目”，而将成为一个持续运转的数据系统——类似于搜索引擎的持续爬取和索引系统。数据工程师的角色将从”建设者”转变为”运营者”。

2026 持续学习三大数据工程案例

案例	团队	范式	数据效率	关键创新
RODS	蚂蚁集团 + 浙大 + 上海创智学院 + 西湖大学（arXiv:2606.19047, 2026-06-17）	奖励驱动在线数据合成	400 种子样本 ≈ 17K 离线样本（20-42× 数据效率）	进度奖励方差作为零成本边界检测器
AIDE	agentic in-context learning, 2026	在线学习范式	持续 in-context 适应	任务执行中即时学习新技能
APIGen-MT	Salesforce/XLang 团队, 2026	多轮工具调用合成	大规模多轮轨迹	多轮 agent 训练新范式

RODS 的核心方法（深度展开）：

动机：多轮工具 agent 训练数据成本极高；多轮数据前后依赖强，传统数据增强可能扩充出”看起来合理但实际全错”的假数据
方案：利用 GRPO 训练时的奖励信号在线合成新数据
- 边界检测：进度奖励方差 = 边界检测器（μ ≈ 0.5 时方差最大，源自 Popoviciu upper bound）
- 重采样合成：识别边界样本后，通过技能对齐的重采样管道合成结构复杂度（API 拓扑、依赖深度）匹配的新多轮变体
- 动态重放缓冲区：三层淘汰机制（预演过滤 / 边界漂移剔除 / 方差优先级剪枝）+ 分阶段注入避免分布偏移
结果：从 400 人类种子 + 约 800 活跃训练样本，达到与 17K 离线合成管道相当的性能（~20× 数据效率）
泛化：Qwen3-4B-Instruct 56.0% vs 静态 50.0% / EnvTuning 50.5%；在 BFCL v4、τ²-bench、ACEBench 等 OOD 任务上均提升

对持续学习的指导：

梯度饥饿问题：静态数据集训练中，大部分样本在后期对梯度贡献接近零（“被掌握”或”太难”）——RODS 用边界检测识别”对当前模型最具梯度的样本”
避免 hallucinated 反馈：重采样管道保留种子功能依赖结构（API 拓扑、依赖深度），避免无意义的实体替换
闭环数据引擎：训练过程与数据生成过程耦合，根据能力边界动态合成新数据

🔬 显微镜观察：RODS 证明了在 Agent 训练中，“在何处合成数据”比”合成多少数据”更为关键——这是对数据工程”数量优先”传统假设的根本挑战。

22.2 数据工程师的进化

22.2.1 从”数据清洗工”到”数据科学家”

大模型数据工程这个领域还很年轻——2020 年之前几乎不存在”专门做大模型数据”的岗位。它的演变大致如下：

2020: "数据清洗工"
  └─ 会写 Python 脚本处理文本就行
  └─ 主要工作：去重、过滤、格式化

2022: "数据工程师"
  └─ 需要理解 NLP 基础知识
  └─ 主要工作：建设完整的数据管线

2024: "数据科学家"
  └─ 需要理解模型训练原理
  └─ 主要工作：数据策略设计、配比优化、质量模型

2026: "数据架构师"
  └─ 需要跨越数据和模型的完整认知
  └─ 主要工作：端到端数据系统设计、数据-模型协同优化

2028+: "数据-模型协同工程师"（我的预测）
  └─ 数据工程和模型训练不再分离
  └─ 模型在训练过程中自主决定需要什么数据
  └─ 工程师的角色是设计和维护这个自动化系统

22.2.2 数据直觉的培养

好的数据工程师有一种”数据直觉”——看一眼数据就能判断它对训练有没有价值。这种直觉不是天生的，而是通过大量实践培养的。

培养数据直觉的建议：

看数据：每个项目至少花 10 个小时亲自阅读原始数据。不是采样统计，而是逐条阅读。你会发现很多统计无法捕捉的问题。
做消融：每次修改管线后，都做一个小规模消融实验。不需要训练大模型——400M 参数的小模型在 5B tokens 上训练，就能反映大多数数据质量问题。
建基准：建立你自己的”数据质量直觉基准”——收集 100 条你认为是”好数据”和 100 条”坏数据”，用它来校准你的判断。
跨领域：不要只看文本数据。理解代码数据、数学数据、多模态数据的不同特征，可以让你对”质量”有更全面的认识。
读论文：系统阅读 FineWeb、DCLM、RedPajama、Dolma 等项目的技术报告。这些报告中有大量的数据工程经验和反直觉发现。

22.2.3 与模型训练团队的协作模式

数据工程师和训练工程师的协作模式也在演变：

传统模式（2020-2023）：

数据团队                       训练团队
  │                              │
  │ "这是处理好的数据"           │
  │ ────────────────────────→   │
  │                              │ 训练...
  │                              │
  │        "效果不好"            │
  │ ←────────────────────────   │
  │                              │
  │ 调整管线...                  │
  │                              │
  │ "新版数据"                   │
  │ ────────────────────────→   │
  │                              │
  反馈循环很慢，通常需要数周

现代模式（2024-2026）：

数据团队                       训练团队
  │                              │
  │ ←── 共享评估 Dashboard ──→   │
  │                              │
  │  实时监控训练 loss 和指标    │
  │  发现异常后立即调查数据      │
  │                              │
  │  数据版本与 checkpoint 对应  │
  │  可以精确定位哪个数据版本    │
  │  导致了哪个能力变化          │
  │                              │
  反馈循环缩短到天级甚至小时级

未来模式（2027+）：

  ┌─────────── 自动化数据-训练循环 ───────────┐
  │                                            │
  │  模型训练中                                 │
  │    ↓                                       │
  │  在线评估发现薄弱能力                       │
  │    ↓                                       │
  │  自动调整数据配比 / 合成针对性数据          │
  │    ↓                                       │
  │  数据注入训练流                             │
  │    ↓                                       │
  │  再评估...                                 │
  │                                            │
  └────────────── 人工监督+干预 ──────────────┘

22.3 开放问题

22.3.1 我们还需要多少数据？

这是一个看似简单实际极深刻的问题。不同的回答反映了对智能本质的不同理解。

乐观派：数据需求有上限。当模型足够大、数据足够好时，模型可以从有限的数据中”涌现”出超越数据的能力。证据包括：

少量高质量合成数据可以训练出强大模型（Phi 系列）
LIMA 表明 1000 条数据就能实现表面对齐
DeepSeek-R1-Zero 仅用 RL 就能涌现推理能力

悲观派：数据需求会持续增长。模型本质上是数据的压缩表示，没有足够多样的数据就不可能获得足够多样的能力。证据包括：

更大的数据一致带来更好的效果（Scaling Laws）
Model Collapse 表明合成数据不能替代真实数据
现实世界的长尾分布意味着永远有未覆盖的场景

我的观点：数据的总量需求可能会趋于平缓，但数据的类型和质量需求会持续演化。未来的瓶颈不是”有多少数据”，而是”有多少正确类型的、高信息密度的数据”。2026 年的合成数据突破（60%+ 占比、< 2% 崩溃率）表明总量不是问题，但质量天花板、分布偏差和验证成本构成了新的约束三角。

22.3.2 合成数据能否完全替代真实数据？

基于 Nature 发表的 Model Collapse 研究和后续的大量实验，短期内的答案是否。

但 2026 年的现实让这个问题变得更微妙：合成数据占比已达 60%+，崩溃率 < 2%，“完全替代”在工程上已接近可行。关键不再是”能不能替代”，而是”替代的代价是什么”。

但这个问题的更深层含义值得思考：

如果合成数据不能完全替代真实数据，
那么"真实数据"中到底有什么是合成数据缺乏的？

可能的答案：
1. 信息的多样性——真实世界的长尾分布
2. 噪声的价值——适度的噪声帮助模型泛化
3. 文化和常识——隐含在自然文本中的社会知识
4. 创造性——人类创作的非规律性和意外性
5. 时效性——真实世界不断产生新的信息

如果我们能精确定义这些因素，
或许就能设计出不会导致 collapse 的合成方法。

一个有趣的类比：这就像营养学中的”合成维生素 vs 天然维生素”之争。合成维生素化学结构相同，但天然食物中还包含微量元素、纤维、酶等协同因素。训练数据也类似——真实文本中包含大量我们尚未识别但对模型有益的”微量元素”。

22.3.3 数据质量有没有统一的度量标准？

至今没有。这是数据工程领域最大的理论缺口之一。

当前的困境：

“质量”是一个依赖于下游任务的概念——对预训练好的数据对 SFT 可能不好
不同的质量代理指标（PPL、教育价值分类器、LLM 评分）有各自的偏差
没有类似”BLEU for translation”或”FID for images”这样被广泛接受的数据质量度量

可能的方向：

基于信息论的度量：数据对模型参数的信息增益
基于学习曲线的度量：加入数据后的学习效率变化
多维度组合度量：流畅性 × 信息密度 × 多样性 × 安全性的加权组合
任务无关的内在质量度量：不依赖下游任务的数据本身质量分数

Nemotron-CC 商业级数据质量度量范式（NVIDIA 6.3T token, 2026）

Nemotron-CC 给出了工程可落地的”4 阶段蒸馏”质量度量框架：

阶段	度量	实现
领域分类	文档属于哪个 STEM 领域	fastText 分类器 / Qwen 分类器
质量分类器集成	文档教育价值 / 噪声率	多分类器集成（FastText + KenLM + Qwen）
去重	跨文档 / 跨数据集重复	MinHash LSH + SemDeDup 语义去重
合成数据	蒸馏合成数据的质量	验证驱动合成 + ASI-Evolve 自主清洗

关键效果：

80 亿参数模型在 MMLU 提升 5 分、ARC-Challenge 提升 3.1 分
比 DCLM 在 MMLU 高 5.6 分（商业级 vs 学术级对比）
ASI-Evolve（上海交大 GAIR-NLP, 2026-03）：通过自主清洗使 MMLU 提升 18.64 个百分点（504B token Nemotron-CCASI+ vs 168B 低质原数据）

三维质量度量框架（基于 Nemotron-CC 实践经验）：

领域覆盖度：数据集涵盖的 STEM / 通用 / 专业领域的分布
知识密度：每 token 的”知识”含量（教育价值、信息密度）
噪声率：低质量 / 重复 / 无关内容的比例

我的期待：未来 3-5 年内，社区需要建立一个像 ImageNet 对计算机视觉那样的数据质量 Benchmark——不是评估模型，而是评估数据的好坏。这将是数据工程从手艺走向科学的关键一步。

22.3.4 最优的数据策略是否可以自动发现？

这是最令人兴奋的开放问题。当前的数据策略（配比、过滤阈值、课程顺序）主要依靠人类经验和大量实验。有没有可能让模型自己发现最优的数据策略？

已有探索：

DoReMi：用参考模型引导数据配比优化
Data Mixing Laws：用小实验预测大模型最优配比
AutoML for Data：将数据处理参数作为超参数搜索
在线配比调整：根据训练中的 loss 信号动态调整数据比例

arXiv 2603.14712 综述提出了一个引人注目的愿景：Agent-based Data Preparation Systems——用 AI Agent 自动完成数据准备的全流程，包括采集、清洗、过滤、配比。

未来的自动化数据工程系统（概念架构）：

┌─────────────────────────────────────────┐
│           数据策略 Agent                 │
│  ┌──────────┐  ┌──────────┐            │
│  │ 配比优化  │  │ 质量评估  │            │
│  │ Agent    │  │ Agent    │            │
│  └────┬─────┘  └────┬─────┘            │
│       │              │                  │
│  ┌────▼──────────────▼─────┐           │
│  │    数据处理管线 Agent     │           │
│  │  ┌──────┐ ┌──────┐     │           │
│  │  │ 清洗  │ │ 过滤  │     │           │
│  │  └──────┘ └──────┘     │           │
│  │  ┌──────┐ ┌──────┐     │           │
│  │  │ 去重  │ │ 合成  │     │           │
│  │  └──────┘ └──────┘     │           │
│  └─────────────┬───────────┘           │
│                │                        │
│  ┌─────────────▼───────────┐           │
│  │    训练反馈回路           │           │
│  │  模型能力评估 → 数据调整  │           │
│  └──────────────────────────┘           │
└─────────────────────────────────────────┘

这个愿景距离现实还有不小的差距，但方向是清晰的：数据工程的未来是自动化和智能化。

22.3.5 合成数据的分布偏差如何量化和校正？

合成数据已占新训练 token 的 60%+，但它的分布天然窄于真实数据——教师模型的偏好、验证函数的盲区、合成模板的局限性，都会导致系统性的分布偏差。

当前的困境：

没有标准化的分布偏差度量——不同维度（主题、风格、难度、文化）的偏差需要不同的度量方法
校正偏差可能引入新的偏差（上采样不足群体 → 重复增加 → 过拟合风险）
“真实分布”本身也是未知的——互联网数据本身就有偏差，合成数据应该对标什么？

可能的方向：

参照基准法：用高质量人工标注数据集作为”真实分布”的代理
多教师集成：用多个不同的教师模型合成数据，降低单一模型的偏差
对抗检测：训练偏差检测器，自动发现合成数据的盲区
混合优化：将合成/真实比例作为优化变量，搜索最优混合策略

22.3.6 验证管道本身的可靠性和成本如何平衡？

第三代合成数据的”推理优先”范式依赖高质量的验证管道——但验证管道本身也是模型，也有出错的可能。当验证器的准确率为 95% 时，5% 的错误验证会导致什么后果？如果验证成本超过训练成本的 50%，是否还有经济可行性？

关键问题：

验证器的校准（calibration）：验证器的置信度分数是否准确反映实际质量？
验证成本的可扩展性：随着数据量增长，验证成本是线性增长还是可以摊薄？
验证-训练的耦合：用同一模型验证自己生成的数据是否存在系统性偏差？

22.4 写在最后

22.4.1 数据工程的黄金时代

我们正处于大模型数据工程的黄金时代。这个领域足够年轻——核心方法论在过去 3-5 年内才逐步成型；又足够重要——“Data is all you need” 不是口号，而是现实。

回顾过去五年的发展脉络：

年份	核心认知
2020	数据越多越好
2021	Chinchilla: 数据和参数要匹配
2022	质量比数量更重要
2023	合成数据可以弥补真实数据不足
2024	系统化的数据工程是可复现的科学
2025	数据工程进入精细化、多阶段时代
2026	数据系统走向自动化和持续化

每一年的认知都在演变，而且经常推翻之前的”共识”。这意味着——如果你在读这本书时发现某些观点已经过时了，那是一件好事，说明这个领域还在快速进步。

22.4.2 给数据工程师的建议

如果你刚入行：

从动手做一个完整的小规模数据管线开始（比如处理 10GB 的 Common Crawl 数据）
训练一个 400M 的小模型来验证你的数据质量——这是最快的反馈循环
精读 FineWeb、DCLM 的技术报告——它们是最好的数据工程教材

如果你已有经验：

关注合成数据和 Agent 数据这两个快速演进的方向
建立你的数据质量直觉——这是很难被自动化替代的核心能力
思考如何让你的数据管线从”一次性项目”变成”持续运转的系统”

如果你是技术负责人：

数据工程的投入应占整个大模型项目的 30-50%——很多团队严重低估了这个比例
建立数据和训练团队之间的紧密反馈循环
投资数据基础设施——它的回报周期比你想象的短

22.4.3 最后的话

写这本书的过程中，我反复感受到一件事：数据工程是一门手艺，更是一门科学。

说它是手艺，因为很多关键决策依赖于经验和直觉——某个过滤阈值设 0.5 还是 0.6，某两类数据的配比是 7:3 还是 8:2，这些看似微小的选择可能对最终模型有巨大影响。好的数据工程师就像好的厨师，配方重要，但火候和手感同样关键。

说它是科学，因为这个领域正在快速建立自己的理论基础——Scaling Laws、Data Mixing Laws、合成数据的信息论分析、遗忘的定量度量。这些理论让数据决策从”拍脑袋”逐渐走向”可推导”。

未来几年，数据工程将成为大模型技术栈中最值得投入的方向之一。不是因为模型架构不重要，而是因为架构的优化空间正在收窄，数据的优化空间却依然广阔。

在这个”数据决定一切”的时代，愿这本书能帮你在数据的海洋中找到方向。

本章要点回顾

要点	说明
数据墙已被突破	合成数据占比 60%+、崩溃率 < 2%，从”弯道”变为”已破之墙”
合成数据进入第三代	推理优先（Reasoning-first）、SynthLLM、自博弈收敛，崩溃率 < 2%
多模态是下一个数据洪流	视频和音频数据的利用率不到 5%，潜力巨大
Agent 数据是全新品类	从对话数据到行动轨迹数据，需要全新的构造方法
持续学习改变数据范式	从”一次性项目”到”持续运转的数据系统”
数据工程师角色在升级	从清洗工到架构师，未来走向数据-模型协同工程
数据质量度量是最大缺口	社区需要建立被广泛接受的数据质量 Benchmark
自动化数据策略是终极方向	Agent-based Data Preparation Systems 值得关注