数据工程观察 · 2026年05月01日

引言

数据工程正经历一次关键范式转移：从「静态配比、离线清洗」走向「动态调度、在线优化」。本期四条动态分别从合成数据生成、训练过程数据调度、知识图谱增强数据质量、以及领域专用数据工程流水线四个维度，勾勒出这一趋势的轮廓。尤其值得注意的是，跨文档知识关联正成为合成数据方法的核心突破口——无论是基于超链接的 WRAP++，还是基于知识图谱的 Synthesize-on-Graph，都在尝试打破单文档重写的局限。

---

WRAP++：基于 Web 超链接的跨文档知识合成预训练数据

事件概述

2026 年 4 月，研究团队提出 WRAP++（Web discoveRy Amplified Pretraining）方法，利用 Web 页面间的超链接关系发现跨文档知识关联，生成需要跨文档推理的联合 QA 数据，将约 84 亿 token 的原始 Wikipedia 文本放大至 800 亿 token 的跨文档 QA 数据（arXiv:2604.06829）。

技术细节

WRAP++ 的核心创新在于从单文档重写转向跨文档知识合成：

• 高置信度关系模体发现：系统识别两类跨文档关系——双向链接（dual-links）（两篇文档互相引用）和共提及（co-mentions）（多个实体在不同文档中被联合提及），确保关联的真实性和可靠性。
• 联合 QA 合成：对每对发现关联的文档，生成需要同时参考两篇文档才能回答的 QA 对，产生任一源文档中都不存在的关联知识。
• 组合式数据放大：由于有效实体对的数量以组合方式增长（而非线性），该方法天然实现了数据规模的大幅扩展——8.4B → 80B token，约 10 倍放大。

实验在 SimpleQA 基准上，基于 OLMo 的 7B 和 32B 模型均显著优于单文档重写方法，且性能增益随规模持续增长。

对大模型数据工作的影响

WRAP++ 为预训练数据合成提供了新的思路：与其让模型在孤立的文档片段中学习碎片化知识，不如主动发现和构建知识之间的关联。这对于事实性知识的获取尤其关键——同一事实可以通过多种关联路径被编码，形成更丰富的知识表征。该方法的 Web 超链接发现策略也可迁移到其他具有链接结构的数据源（如学术引用网络、代码依赖图），具有广泛的应用前景。

---

DataFlex：面向大模型的统一数据动态训练框架

事件概述

北京大学张文涛教授、鄂维南院士团队联合 LLaMA-Factory Team、OpenDataLab、上海 AI Lab 等机构推出 DataFlex——首个将数据选择、数据混合和样本重加权三大范式统一到同一框架的数据中心动态训练系统（arXiv:2603.26164）。该工作曾登顶 Hugging Face Daily Papers 月度排行榜第一。

技术细节

DataFlex 采用三层架构设计：

• 基础层：继承自 LLaMA-Factory，处理模型管理、数据处理和优化器等基础功能，保证与现有训练流程的低迁移成本。
• 训练器层：将单一的原始训练器替换为三种数据中心训练模式——Dynamic Select Trainer（动态筛选高价值样本）、Dynamic Mix Trainer（动态调整多源数据采样比例）、Dynamic Weight Trainer（动态分配不同样本的训练权重）。
• 组件层：可插拔的算法组件（选择器、混合器、加权器），统一接口设计，支持 LESS、DoReMi、ODM、Loss Reweighting 等算法的轻量替换和公平比较。

实验结果方面：LESS 训练时间从 30,239s 降至 28,734s（单 GPU），准确率从 40.38% 提升至 42.37%；在 8×H20 GPU 上训练时间减少 57.13%；DoReMi 和 ODM 在 6B 和 30B token 规模上均优于静态混合比例。

对大模型数据工作的影响

DataFlex 解决了一个长期痛点：数据中心化方法虽多，但分散在不兼容的代码仓库中，接口不统一、复现困难。它将数据从训练的「静态输入」提升为与模型参数同等的「一阶优化对象」。这对预训练阶段的海量异构数据利用、后训练对齐阶段的高价值样本聚焦、以及领域适配过程中的数据比例实时调整，都有直接的工程价值。配合团队已有的 DataFlow（3k+ Stars）数据精炼工具，形成了从数据获取到训练闭环优化的完整链路。

---

Synthesize-on-Graph：知识图谱驱动的续训合成数据生成

事件概述

研究团队提出 Synthesize-on-Graph（SoG）框架，将跨文档知识关联引入续训合成数据生成流程。SoG 从原始语料中构建上下文知识图谱，通过图游走策略实现知识关联采样，并集成 Chain-of-Thought 和对比澄清（Contrastive Clarifying）增强合成数据质量（arXiv:2505.00979）。

技术细节

SoG 的方法包含三个核心组件：

• 上下文图谱构建：从小规模专业语料中抽取实体和概念，构建表示跨文档知识关联的图谱结构——这是区别于传统单文档合成方法的核心创新。
• 图游走知识关联采样：通过图遍历策略采样关联的实体和概念组合，确保合成数据反映语料中存在的复杂知识结构和实体间关系，提升合成数据的多样性和连贯性。
• 质量增强：集成 CoT 合成（增强推理过程）和 CC 合成（增强区分能力），使模型不仅能记忆知识，还能区分相似但不同的概念。

实验表明，SoG 在多跳文档 QA 数据集上超越现有 SOTA 方法，同时在阅读理解任务上与 SOTA 表现相当，展现出更好的泛化能力。

对大模型数据工作的影响

SoG 对数据稀缺领域的续训尤为关键。当可用语料有限（如医疗、法律、金融等专业领域）时，传统合成方法只能在单篇文档内打转，导致生成内容的多样性和深度不足。SoG 的图谱驱动方法能够挖掘文档间的隐式关联，生成跨文档的多跳推理数据，有效扩展知识覆盖面。其与 WRAP++ 形成互补：WRAP++ 依赖 Web 超链接等显式关联信号，而 SoG 通过实体抽取和图谱构建发现隐式关联，两者分别适用于不同数据场景。

---

Nemotron-Terminal：终端智能体的系统化数据工程流水线

事件概述

NVIDIA 发布 Nemotron-Terminal 模型系列及配套数据工程框架（arXiv:2602.21193），首次系统性地公开了终端智能体的训练数据策略。该工作提出 Terminal-Task-Gen 合成任务生成管线和 Terminal-Corpus 数据集，为 AI 终端代理的数据瓶颈提供了可复现的解决方案。

技术细节

Nemotron-Terminal 的数据工程流水线包含以下关键环节：

• Terminal-Task-Gen：轻量级合成任务生成管线，支持**基于种子（seed-based）和基于技能（skill-based）**两种任务构建模式。种子模式从现有任务模板出发扩展变体，技能模式按终端操作技能分类定向生成。
• 数据筛选与清洗：包含敏感信息过滤（密码、API Key 等）、去重、质量评分等标准数据工程步骤。
• 课程学习策略：按照任务复杂度递进组织训练数据，从简单命令执行逐步过渡到多步骤编排。
• 长上下文训练：针对终端交互的长会话特性，优化长上下文窗口下的数据组织方式。
• 规模行为分析：系统研究数据量与模型性能的 scaling 关系，为数据投入提供量化依据。

基于此管线训练的 Nemotron-Terminal 模型在 Terminal-Bench 2.0 基准上表现优异，且完整开源了数据生成代码和训练配方。

对大模型数据工作的影响

Nemotron-Terminal 的价值不仅在于终端操作本身，更在于它展示了一套可迁移的领域专用数据工程方法论：从任务定义→合成生成→筛选清洗→课程组织→规模验证的完整链路。此前，Claude Code、Codex CLI 等终端智能体的训练数据策略均为商业机密，研究者只能盲目试错。NVIDIA 的开源实践填补了这一空白，其 Terminal-Task-Gen 的双模式生成策略（种子+技能）也可推广到其他工具使用、API 调用等 Agent 场景的数据构建中。