数据工程观察 · 2026年06月01日

引言

数据工程正从”如何造数据”走向”何时造、造什么、为何有效”的深层追问。本期关注的五条动态横跨中训练数据规模化合成、合成数据有效性的理论基础、推理模型训练数据策展方法论、搜索增强视觉语言模型的全栈开源数据，以及结构化文档生成的数据合成管线——从理论判据到工程实践，覆盖了预训练到中训练再到后训练的完整数据生命周期。

---

BoostQA：100B Token QA 中训练合成数据集

事件概述

北京大学与美团联合提出 BoostQA，一个包含 1000 亿 token 的大规模合成 QA 数据集，专为中训练（mid-training）阶段设计。论文同步提出模型探针（Model Probes）驱动的双向合成管线，通过学科与难度标注系统精确定位模型短板，定向合成高质量数据。Llama-3 8B 仅用 40B token 进行中训练，即在 MMLU 和 CMMLU 上实现平均 12.74% 的性能提升，并在 12 个基准上达到 SOTA。

技术细节

BoostQA 的合成管线包含三个核心环节：（1）异构来源种子数据策展，确保知识来源多样性；（2）利用 DeepSeek-R1 实施双向合成——STEM 多级合成器跨教育阶段生成多样化 QA 对，高难度合成器专门提升 H4/H5 难度等级样本比例；（3）DeepSeek-V3 答案精炼模块提升输出质量。关键创新在于”模型探针”：通过对 62 个学科、5 级难度（H1-H5）的系统探测，发现模型在 STEM 学科和高难度数据上存在显著短板（H5 准确率仅 33.78%，H1 达 60.74%），由此指导合成方向。BoostQA 独立于种子数据，显著提升了知识多样性与难度分布。

对大模型数据工作的影响

BoostQA 标志着中训练数据从”通用增强”走向”短板定向”的范式转型。模型探针系统为”造什么数据”提供了可量化的决策依据，而非凭经验调参。对团队而言，这一方法论可复用：先用探针诊断模型在学科/难度维度的薄弱环节，再定向合成补充数据，将显著降低数据冗余和训练成本。

---

信息论数据合成判据：DPI 准则判定合成数据何时有效

事件概述

北京大学前沿计算研究中心邓小铁课题组的 ICML 2026 入选论文《An Information-Theoretic Criterion for Efficient Data Synthesis》（arXiv:2605.16379），从信息论角度回答了一个核心问题：同样是用模型生成数据，为什么有时能提升模型、有时反而让其退化？论文基于数据处理不等式（DPI）提出”信息开放”（information-open）准则：合成数据有效，当且仅当生成-训练环路被外部信号（验证器、环境、评分规则等）塑造，注入了超越模型当前分布的任务相关信息。

技术细节

论文的核心理论贡献是将合成数据管线建模为信息信道：如果合成管线是”信息闭合”的——即仅回收模型自身分布——则根据 DPI，合成数据的互信息不可能超过原始数据的互信息，模型无法获得新知识。反之，当管线”信息开放”——引入验证器反馈、环境交互、固定参考等外部信号——信息流突破了马尔可夫链的限制，合成数据才可能为模型注入有效的新信息。论文从可验证数学/代码、在线策略蒸馏、迭代搜索等多种合成范式验证了这一准则，并引入”信息注入效率”指标量化每次有效训练所需的外部信息量。

对大模型数据工作的影响

这项工作为”造出来的数据有没有用”提供了理论判据，而非仅凭实验试错。工程实践中，团队在规划合成数据管线时，可首先审视其”信息开放性”——如果管线完全依赖模型自循环（如简单 self-instruct），DPI 准则预测其效果将有限；引入外部验证信号（测试用例、形式化证明器、环境反馈）则是突破信息瓶颈的关键。这一准则也为数据合成管线设计提供了成本-收益估算的理论基础。

---

SuperNova：RL 推理数据策展——人类标注优于合成数据

事件概述

UCLA 的最新预印本 SuperNova 提出了一个反直觉的发现：在 RLVR（强化学习可验证奖励）训练中，精心策展的人类标注指令数据集比大规模合成数学/代码数据更能提升模型的通用推理能力。SuperNova 不是一个新 RL 算法，而是一个数据策展框架，从现有人类标注数据集（Super-NaturalInstructions，约 1600 个任务）中筛选、排名、组合最适合 RLVR 训练的任务，让标准 GRPO 算法即可显著提升通用推理。

技术细节

SuperNova 的三阶段管线：（1）任务选择——将指令微调样本重格式化为可验证 QA 对，过滤对目标模型太易或太难的数据；（2）任务排名——对每个候选任务独立运行受控 RL 实验，量化其对下游通用推理性能的影响；（3）任务混合——比较宏混合（全局排名取优）与微混合（每类推理子任务取优）策略。关键发现：不同源任务的影响跨度惊人——从使基准退化 9 个百分点到提升 39 个百分点；微混合策略（每子任务取 Top-2，BBEH-mini 22.8% pass@8）优于宏混合；额外增加推理难度的合成干预并未超越基础策展混合，表明”选对数据”比”造难数据”更重要。

对大模型数据工作的影响

SuperNova 直接挑战了当前 RL 后训练”大力出奇迹”的默认策略——堆砌合成数学/代码数据。对于资源有限的团队，这是一条可落地的路径：从公开人类标注数据中挖掘推理信号，成本远低于大规模合成。微混合策略也提示，通用推理需要多样化训练信号，而非单一领域的规模化。这一发现对后训练数据配比的工程决策具有直接参考价值。

---

OpenSearch-VL：搜索增强视觉语言模型的全栈开源训练数据

事件概述

腾讯混元联合 UCLA、港中文、港大发布 OpenSearch-VL，一套完全开源的”食谱”级搜索增强视觉语言模型解决方案，覆盖训练数据、工具环境和训练算法的全部细节。论文编号 arXiv:2605.05185。项目旨在让任何研究者都能复现甚至超越顶级商业搜索增强多模态系统的表现，打破了闭源系统训练数据与方法不透明的现状。

技术细节

OpenSearch-VL 的核心贡献在于”全栈透明”：从搜索工具调用轨迹的采集、多轮搜索交互数据的构建、到 RL 训练算法的完整公式推导，每一环节都详细公开。训练数据设计思路涵盖视觉查询构建、搜索结果筛选与整合、多轮对话上下文管理等关键场景。工具环境包含搜索引擎 API 封装、网页内容提取、图像检索等组件，确保训练数据的真实性与多样性。RL 算法基于 GRPO，但针对搜索场景设计了专门的奖励函数，包括信息获取效率、答案准确性与搜索策略合理性等多维信号。

对大模型数据工作的影响

OpenSearch-VL 的开源意义不仅是数据本身，更在于”训练数据是怎么造出来的”这一工程过程的完全透明。对于需要构建搜索增强能力的团队，这是可直接复用的流水线参考。搜索增强场景的数据工程挑战——如何定义有效的搜索查询、如何评估搜索结果的相关性、如何设计多轮交互的奖励信号——在这项工作中都有系统性方案，为工具使用类训练数据的构建提供了方法论范本。

---

AnyDoc/DocHTML：大规模结构化文档数据合成管线

事件概述

Adobe Research 在 CVPR 2026 发表 AnyDoc，提出可扩展的 HTML/CSS 文档数据合成管线，自动生成涵盖 111 个类别、32 种风格的 265,206 份结构化文档样本，构成 DocHTML 数据集。每份文档配备完整元数据（设计意图、HTML/CSS 源码、视觉素材、渲染截图），支持”意图到文档""文档去渲染""元素到文档”三种生成任务。

技术细节

AnyDoc 合成管线的核心是程序化文档生成器：基于 HTML/CSS 模板与布局规则，结合设计意图标注和内容填充，自动生成结构化文档。不同于传统 OCR 数据集的扫描图像范式，DocHTML 直接在代码层面合成，天然具备结构化标注和风格多样性。为解决微调中的内容溢出问题，AnyDoc 引入高度感知强化学习（HARL）：以预测高度与目标高度的差值为奖励函数，在 RL 后训练中逐步惩罚溢出。实验证明 AnyDoc 在三类任务上均超越通用 MLLM 和专用基线。

对大模型数据工作的影响

AnyDoc 代表了结构化数据合成从”采集-标注”到”程序化生成”的范式转变。对于文档理解、表格解析、版面还原等任务，传统数据采集成本极高且覆盖面有限；程序化合成管线则可在代码层面精确控制文档结构、样式和语义，实现规模化数据生产。HARL 后训练策略也提示：数据合成不仅是”造数据”，还需配套的”数据适配训练方法”，二者协同才能最大化合成数据的价值。

---

小结

本期五条动态从不同角度回应了数据工程的核心命题：不是”造更多数据”，而是”造对的数据，用对的判据，走对的路径”。BoostQA 的模型探针回答了”造什么”，DPI 信息论准则回答了”何时有效”，SuperNova 的策展框架回答了”选什么”，OpenSearch-VL 的全栈开源回答了”怎么造”，AnyDoc 的程序化合成回答了”如何规模化”。从理论到工程，数据工程正在建立自己的方法论闭环。