数据工程观察 · Vol.39

数据工程观察 · 2026年05月14日

本期聚焦预训练噪声鲁棒性、智能体原生中训练数据、技能图驱动任务合成、多指标数据选择与过程监督数据合成五项进展

数据工程 预训练数据 合成数据 中训练 数据选择 过程奖励模型 智能体数据 数据质量

引言

本期数据工程观察聚焦预训练数据流水线的前沿突破：从预训练之前的”预-预训练”阶段如何用极少量合成数据提升噪声鲁棒性，到面向软件工程和终端操作的智能体原生中训练数据构建方法论，再到数据选择与过程监督数据的可控合成新范式。这些工作共同指向一个趋势——训练数据的构建正从被动筛选走向主动设计，从通用混合走向场景原生的精细化编排。

合成预-预训练提升预训练噪声鲁棒性（arXiv:2605.10129）

事件概述

上海 AI Lab 与阿里 Qwen 团队联合提出 Synthetic Pre-Pre-Training（PPT）方法，在标准预训练之前引入轻量级合成数据阶段，显著提升模型对噪声训练数据的鲁棒性。

技术细节

  • 核心思路是在预训练（PT）之前插入一个 PPT 阶段，使用具有可学习时序结构的合成数据（如 RNN 生成的序列），让模型先习得结构化模式再接触噪声自然文本
  • 1B 参数模型仅需 65M token 合成数据，即可在后续噪声预训练中节省最高 49% 的自然文本 token，达到相同损失值
  • 机制分析发现 PPT 并非立即抑制对噪声 token 的注意力，而是在训练过程中逐渐下调噪声 token 间的注意力权重，抑制”噪声自建模”现象
  • 噪声水平越高，PPT 的相对增益越显著

对大模型数据工作的影响

这项工作为数据受限且噪声不可避免的预训练场景提供了新范式：与其在清洗阶段投入大量资源追求完美数据，不如用极少量结构化合成数据”免疫”模型的噪声敏感性。PPT 阶段的计算开销极小（65M token 对比数十亿 token 的 PT 阶段），但收益可观，尤其适合大规模 Web 语料中低资源语言或领域数据的训练场景。

daVinci-Dev：面向软件工程的智能体原生中训练数据（GAIR）

事件概述

GAIR（纽约大学 Liu Pengfei 团队）发布 daVinci-Dev，首次系统性提出智能体原生中训练（Agent-native Mid-training）方法论，并开源 847GB 数据集及 72B/32B 两档模型。

技术细节

  • 定义两类互补的智能体原生数据源：
    • 上下文原生轨迹（Contextually-native）：从 410 万条 GitHub PR 提取结构化表示，涵盖仓库元数据、PR 元数据与 LLM 增强的 PR 摘要（使用 Qwen3-235B-A22B-Instruct 增强 commit message 与 PR 摘要）
    • 环境原生轨迹（Environmentally-native）：基于 SWE-Agent + GLM-4.6 在 SWE-rebench 上的执行回滚，仅保留通过测试的子集
  • 数据总量 847GB，覆盖 PR 理解、迭代编辑模式、环境交互等软件工程智能体核心能力
  • 开源模型 daVinci-Dev-72B/32B 基于 Qwen2.5 架构，同时发布中训练检查点（-MT 版本）供研究
  • 构建流水线已在 GitHub 开源（Apache-2.0）

对大模型数据工作的影响

daVinci-Dev 将中训练数据从”通用领域混合”推进到”场景原生构建”——不再简单地向预训练语料中混入代码或 SFT 数据，而是根据智能体实际执行模式设计数据格式。410 万条 PR 轨迹的结构化表示与 LLM 增强流程，为代码智能体训练数据工程树立了新标杆。其”上下文原生 + 环境原生”双源范式对其他垂直领域的智能体数据构建具有直接参考价值。

SkillSynth：技能图驱动的终端任务合成（腾讯混元，arXiv:2604.25727）

事件概述

腾讯混元团队提出 SkillSynth 框架，通过构建包含 82,073 个场景节点和 57,214 个技能的”技能图”，以图路径采样驱动终端智能体训练数据的自动合成，Qwen3-32B + SkillSynth 在 Terminal-Bench 2.0 上超越 Qwen3 Coder 480B。

技术细节

  • 三阶段流水线：
    1. 技能图构建：从 ClawHub 与 GitHub 采集技能，经 LLM 场景推理、层次聚类去重、双向跨技能对齐，构建 82K 场景节点 × 57K 技能的大规模图
    2. 图引导路径采样：路径长度 1-7，逆频率加权保证覆盖均匀性，单调递进约束避免冗余
    3. 多智能体生产管线：规划器 → 构造器解耦设计，双验证（执行验证 + 规则验证）+ 最多 3 轮迭代修复
  • 单次全自动运行产出 3,560 条验证通过任务，Oracle 通过率 95.7%，平均每条任务成本 $27.3
  • 38% 的任务被归类为”最困难”（0/3 成功率），训练数据难度显著高于单技能基线
  • Qwen3-32B + SkillSynth 在 TB 1.0/2.0 分别达 33.8/29.6，超越单技能基线 +8.4/+8.3 分
  • 已用于训练 Hy3 Preview 智能体

对大模型数据工作的影响

SkillSynth 将”数据多样性”从模糊的经验直觉提升为可计算、可优化的图覆盖准则。技能图的场景节点天然支持社区扩展——新增技能只需接入图中对应场景即可自动获得组合路径。这种”图即数据基础设施”的思路为其他需要轨迹多样性的智能体领域（如数据分析、运维自动化）提供了可复制的框架。修复机制回收 721 条初始失败任务，验证了自动化生产管线的工程可行性。

多指标权重学习实现任务-模型联合适配数据选择（IJCAI 2026，arXiv:2605.09665）

事件概述

中山大学团队提出联合任务-模型适配的多指标数据选择框架，仅用 30% 训练样本即可在 GSM8K 上匹配全量训练效果，揭示推理任务中语义多样性与逻辑复杂度的权衡关系。

技术细节

  • 现有多维度数据筛选方法采用静态的任务无关、模型无关加权方案，忽略了下游任务差异与模型先验能力的不同
  • 提出基于 ICL 信号的紧凑”微小验证集”高效代理，在不进行全量微调的前提下搜索最优权重配置
  • 在 Mistral、Qwen、Llama 三个模型家族上验证，30% 数据即可匹配或超越全量训练
  • 核心发现：推理任务中语义多样性与逻辑复杂度存在 trade-off——静态加权无法同时满足两者，必须根据具体任务和模型联合适配

对大模型数据工作的影响

这项工作将数据选择从”质量评分→阈值过滤”的静态范式推进到”指标权重→任务适配”的动态范式。ICL 信号代理的设计大幅降低了搜索成本，使得针对每个下游任务定制数据配比成为可行操作。语义多样性 vs 逻辑复杂度的 trade-off 发现对 SFT 数据构建有直接指导意义——不同推理任务可能需要截然不同的多样性-复杂度平衡点。

可控可验证的过程监督数据合成（arXiv:2605.02395）

事件概述

研究者提出可控可验证的过程奖励模型（PRM）训练数据合成框架，通过模板感知错误注入 + 符号重计算生成前缀无效但轨迹一致的配对推理链，显著提升逻辑推理 Best-of-8 重排序性能并可迁移至数学推理。

技术细节

  • 四步流水线：
    1. 构造正确的符号推理链
    2. 在中间步骤注入模板感知错误（可控错误位置与类型）
    3. 在错误状态下符号重计算后续步骤（保证错误后轨迹一致性）
    4. 验证注入步骤不可由其前缀推导（确保错误真实性）
  • 产出配对轨迹：在首个错误处前缀无效，但错误后逻辑自洽
  • 符号轨迹翻译为自然语言对齐后用于 PRM 训练
  • 实验发现：首次错误定位远比整体步骤分类困难，凸显精细过程监督的必要性

对大模型数据工作的影响

现有 PRM 训练数据主要依赖人工标注或蒙特卡洛采样，成本高且可控性差。本框架将”在什么位置注入什么类型的错误”完全参数化，实现了过程监督数据的工业化生产。符号重计算保证错误后轨迹一致性这一设计尤为关键——它避免了”错误步骤之后全是垃圾”的低质量配对问题，使模型学到的不仅是”哪里错了”，还有”错后如何合理继续”。这对强化学习训练中过程奖励信号的构建具有直接应用价值。