数据工程观察 · 2026年05月18日

本期聚焦数据合成方法论的前沿突破——从开放式编程问题的规模化合成，到基于主动学习获取函数的靶向训练数据生成，再到跨文档关联驱动的合成预训练新范式。同时关注开源社区在端到端训练数据集和多语言合成数据基础设施上的新进展。

FrontierSmith：规模化合成开放式编程问题

事件概述

UC Berkeley 联合多家机构发布 FrontierSmith（arXiv:2605.14445），首个系统化将封闭式编程题（如竞赛编程）演化为开放式编程问题的自动化框架。开放式编程问题没有已知最优解，更贴近真实工程场景，但此前缺乏规模化构造此类训练数据的方法。

技术细节

FrontierSmith 的核心流程分为三步：(1) 变异生成：从竞赛编程种子池出发，通过改变目标（移除最优解约束）、限制输出格式、泛化输入等方式，生成开放式候选问题；(2) 想法发散度筛选：引入定量「想法发散度」（Idea Divergence）指标，让多个求解器独立求解同一问题，仅保留能激发真正不同解题思路的问题；(3) 验证器生成：智能体为筛选后的问题自动生成测试用例和验证器。在 FrontierCS 和 ALE-bench 两个开放式编程基准上，Qwen3.5-9B 分别提升 +8.82 分和 +306.36 Elo 分，Qwen3.5-27B 提升 +12.12 和 +309.12。合成问题还能让智能体执行更多轮次、消耗更多 token，与人工精选问题行为高度一致。

对大模型数据工作的影响

当前编码训练数据几乎全部面向封闭式任务（单函数实现、bug 修复），而真实工程中的代码挑战往往是开放式的。FrontierSmith 填补了这一数据空白，为编码智能体训练提供了新的数据合成范式——「从封闭式种子演化开放式问题」，其想法发散度筛选机制也为合成数据质量评估提供了可量化的新思路。

AcquisitionSynthesis：获取函数驱动的靶向数据生成

事件概述

来自多家机构的研究团队提出 AcquisitionSynthesis（arXiv:2605.13149），首次将主动学习中的获取函数（Acquisition Functions）作为 RL 奖励信号，训练语言模型直接生成对下游学习者最有价值的训练数据，实现了从「先大量生成再过滤」到「靶向生成」的范式转变。

技术细节

研究团队从主动学习文献中提炼出五种互补的获取奖励：置信度（Confidence，奖励模型不自信的样本）、近邻度（Proximity，靠近决策边界的样本）、梯度幅度（Gradient Magnitude，高梯度贡献样本）、多样性（Diversity，与已有数据差异大的样本）和答案方差（Answer Variance，答案分散的样本）。使用 GRPO 优化生成器，使其直接产出高获取奖励的样本。实验表明：(1) 学生模型在领域内任务上提升 2–7%，且更大的模型获益更多；(2) 相比基线方法，AcquisitionSynthesis 大幅降低灾难性遗忘，OOD 场景甚至提升 3%；(3) 更大的生成器模型训练出的 AcquisitionSynthesis 可跨模型族和规模泛化。

对大模型数据工作的影响

传统合成数据流水线的核心瓶颈是缺乏对「生成样本对下游学习者的实际影响」的定量度量。AcquisitionSynthesis 将数据生成从定性启发式推向定量优化——获取函数天然具备可解释性和模型感知性，使得合成数据不再是「先造再看」，而是「为学习者量身定制」。这一思路有望与现有的 rejection sampling 和蒸馏流水线深度整合。

OpenBB-215K：端到端双语 LLM 训练数据集

事件概述

OpenBB 团队在 Hugging Face 发布 OpenBB-215K，首个覆盖 LLM 训练全生命周期四阶段（预训练 → SFT → 对齐 → 推理扩展）的双语（中英文）开源训练数据集，约 21.5 万条样本，仅 1.2 GB，Apache 2.0 许可。

技术细节

OpenBB-215K 从 9 个公开数据源精炼而来，按训练阶段组织为四个文件：pretrain.jsonl（10 万条，5 万中 + 5 万英）、sft.jsonl（5 万条，1.1 万中 + 3.9 万英）、align.jsonl（5 万条 DPO 偏好对）和 extend.jsonl（1.54 万条 CoT 推理数据，含 Opus 4.6/Gemini 3/3.1 Pro 推理样本）。关键设计决策：所有采样使用固定种子（seed=42），数据直接从 HuggingFace Hub 流式加载，任意机器运行构建脚本均可得到完全相同的输出。单 GPU 即可在数小时内跑完全流水线实验。

对大模型数据工作的影响

当前开源社区缺乏一个覆盖训练全生命周期的统一数据包——研究者往往需要自行拼凑不同阶段的数据集。OpenBB-215K 填补了这一空白，特别对中文社区的价值显著：它首次将 FineWeb-Edu-Chinese、SmolTalk-Chinese 等中文数据源与英文数据源整合进同一可复现的训练流水线。其「小而全」的设计哲学也降低了全流程实验的门槛，使数据配比和训练策略的消融研究变得可行。

Meta SBP：跨文档关联驱动的合成预训练

事件概述

Meta 超级智能团队庞若鸣（前苹果基础模型团队负责人）参与的 Synthetic Bootstrapped Pretraining（SBP）研究近期获得广泛关注。SBP 揭示了一个被标准预训练流程忽视的信号来源：跨文档关联（inter-document correlations），并以此为驱动力构建全新的合成预训练范式。

技术细节

SBP 的核心洞察是：预训练数据集中存在大量语义相似的文档对（如 Transformer 论文及其代码实现、小说与改编剧本），这些跨文档关联蕴含着标准自回归训练无法捕捉的额外学习信号。SBP 分三步运行：(1) 相似文档对识别：在预训练语料中发现语义上相关的文档对 (d₁, d₂)；(2) 条件建模：学习 d₂|d₁ 的条件概率分布，构建「数据合成器」；(3) 数据扩展：将合成器应用于整个语料库，生成大规模新文本。在 3B 和 6B 参数模型上从零训练至 1T token，SBP 一致优于重复基线，达到 oracle 上界（拥有 20 倍唯一数据）60% 的性能提升。定性分析表明合成文档绝非简单改写，而是先抽象核心概念再以新叙事重构。SBP 还具有自然的贝叶斯解释：合成器隐式学习了相关文档间共享的潜在概念。

对大模型数据工作的影响

SBP 开辟了一条与「改写范式」（WRAP/FinePhrase）和「生成器范式」（Cosmopedia）并行的第三条路径——关联范式：不从单篇文档出发改写或生成，而是利用文档间的关系结构作为合成信号的来源。在高质量唯一数据日趋枯竭的背景下，SBP 证明了跨文档关联是一个尚未被充分利用的信号富矿。这一范式对于领域专用语料（如医学文献与临床指南的关联、论文与代码的关联）尤其有潜力。

NVIDIA Granary 与 OCR-Synthetic-Multilingual：多语言合成数据基础设施

事件概述

NVIDIA 连续发布两个大规模多语言合成数据集：语音领域的 Granary（约 100 万小时音频，覆盖 25 种欧洲语言）和视觉领域的 OCR-Synthetic-Multilingual-v1（1200 万+合成 OCR 样本，覆盖 7 种语言），并配套开源了 Canary-1b-v2 和 Parakeet-tdt-0.6b-v3 模型。

技术细节

Granary 是目前最大的开源多语言语音数据集之一，含约 65 万小时 ASR 数据和 35 万小时语音翻译数据，使用 NVIDIA NeMo 语音数据处理器实现音频对齐与格式转换。Canary-1b-v2 基于该数据训练，支持 25 种欧洲语言的 ASR/AST，吞吐量在 HuggingFace 多语言排行中名列前茅。OCR-Synthetic-Multilingual-v1 基于 SynthDoG 管线大幅改进，覆盖简体中文、繁体中文、日语、韩语、俄语、英语 7 种语言，总计 1400 万+样本（含训练/测试/验证集），5.45 TB 存储，提供词级/行级/段落级结构化边界框标注和阅读顺序图。

对大模型数据工作的影响

这两个数据集代表了合成数据基础设施建设的新趋势：领域专用、大规模、多语言、即用型。Granary 解决了低资源语言（如爱沙尼亚语、马耳他语）训练数据稀缺的问题；OCR-Synthetic-Multilingual 则为 CJK 语言 OCR 提供了首个统一的大规模合成训练源。值得注意的是，两者都采用了「合成数据 + 精选管线」的混合策略，而非纯合成——Granary 使用 NeMo Curator 筛选高质量样本，OCR 数据则基于真实文本结构进行合成渲染。这印证了「合成优先、真实校准」的行业共识。