数据工程观察 · 2026年07月15日

引言

本周数据工程领域最重大的事件来自 NVIDIA：Nemotron 系列开放数据全面升级至 10T token 规模，附带交互式 Prompt Atlas 可视化工具和开源 NeMo Data Designer 管线。与此同时，智源研究院的 InfoSeek 从数学等价性角度为 Deep Research 数据合成奠基，CuREV 在代码审查数据上展示了 LLM 策展如何平衡”有用”与”自然”这对矛盾目标，而 FlagData 2.0、JoyDataForge 和 Bespoke Curator 三款开源工具则从不同角度推进了数据策展的工程化。

---

NVIDIA Nemotron 开放数据全景：10T Token + Prompt Atlas + NeMo Data Designer

事件概述

7 月 8 日，NVIDIA 在 Hugging Face 博客正式发布 Nemotron 开放数据全景——超过 10T 预训练 token 和数百万条后训练样本，覆盖智能体 AI 全链路数据需求。该发布包含三大核心组件：Nemotron-CC-v2（6.5T token）、Nemotron-Personas（5300 万合成人物覆盖 10 国 24 亿人口）以及交互式 Prompt Atlas 可视化工具。同时，NeMo Data Designer 以 Apache-2.0 许可开源。

技术细节

• Nemotron-CC-v2：在原 Nemotron-CC 基础上新增 8 组 CommonCrawl 快照（2024–2025），总计 6.5T token。其中英语 CC 3.36T、合成 CC 1.26T（Qwen3-30B-A3B 生成改写以减少对特定网页风格的过拟合）、Diverse QA 0.69T 及其 15 种语言翻译 0.56T，加上数学、代码和 SFT 子集。全局去重 + 合成改写双重策略，旨在缓解重复数据退化同时保持多样性。
• Nemotron-Personas：四阶段管线生成——OCEAN 五人格采样 → 概率图模型（PGM）采样保证人口统计相关性 → LLM 生成结构化人物属性（文化/技能/目标/爱好） → 九维度描述合成。覆盖 10 国 9 种语言变体，5300 万条人物画像。成功案例：Nemotron-Nano-9B-v2-Japanese 借助日本人物集登上日语 LLM 排行榜首位。
• Prompt Atlas：每个点代表一条后训练 prompt，基于 nemotron-llama-embed-v2 嵌入降维后按语义相似度聚类。支持按数据集/管线阶段/领域/工具使用着色筛选，支持 SQL 谓词和自然语言语义搜索，让开发者在训练前直观理解数据分布。
• NeMo Data Designer：开源 Apache-2.0，支持多种采样器（统计/LLM/种子数据）、列级依赖控制、质量验证（Python/SQL/LLM-as-judge）、预览和异步引擎。

对大模型数据工作的影响

Nemotron-CC-v2 的 6.5T token 重新定义了”开放预训练语料”的规模上限，合成改写策略（Qwen3-30B-A3B）为大规模语料去重退化提供了工程解法。Prompt Atlas 首次让万亿级数据集从”黑箱”变为可探索的”地图”，对数据审计和混合策略设计具有方法论意义。Nemotron-Personas 的”人口统计忠实性”合成范式，则为全球部署的 AI 系统提供了分发公平性的数据基座。NeMo Data Designer 开源意味着任何团队都可以构建自己的 Nemotron 级数据管线——数据策展基础设施的民主化。

---

智源 InfoSeek：Deep Research 数据合成的约束满足等价与扩散-回溯方法

事件概述

北京智源人工智能研究院发布首个面向 Deep Research（深度研究）场景的开源数据合成框架 InfoSeek，包含 5 万条训练样本和完整合成管线。该工作建立了深度研究问题与层级约束满足问题（Hierarchical Constraint Satisfaction Problem）的数学等价关系，提出”扩散-回溯”合成方法，3B 参数模型在 BrowseComp-Plus 上取得 16.5% 准确率，接近 Gemini 和 Sonnet 4.0 等商业模型。

技术细节

• 数学等价：将 Deep Research 问题形式化为层级约束满足问题——每一步搜索/推理需满足上层约束且为下层创造新约束空间。这一等价性为合成数据提供了理论保证：只要约束空间可枚举，数据就可规模化生成。
• 扩散-回溯合成：“扩散”阶段从种子问题向下展开约束树，生成多层级子问题；“回溯”阶段从叶节点向上验证约束满足，过滤不可解路径。该双阶段设计确保合成数据既有深度（多步推理链）又有可解性（回溯验证）。
• 规模与评估：5 万条训练样本，覆盖多领域深度研究场景。3B 模型训练后 BrowseComp-Plus 16.5%，与 Gemini/Sonnet 4.0 等商业模型处于同一量级。数据和代码均已开源（HuggingFace + GitHub）。
• 技术报告：arXiv:2509.00375。

对大模型数据工作的影响

InfoSeek 的核心贡献是将”Deep Research 数据合成”从经验性方法提升到有数学保证的框架。约束满足等价意味着数据质量不再是黑箱——可解性由回溯验证保证，多样性由约束空间枚举保证。对于 Agent 训练数据工程而言，这一范式可推广到任何需要多步规划的任务：从”随机生成轨迹”转向”约束空间系统采样”。3B 模型匹配商业模型的结果，再次验证了”高质量小数据 > 低质量大数据”的 data-centric 原则。

---

CuREV：LLM 策展管线中有用性与自然性的平衡方法论

事件概述

arXiv:2607.09524（7 月 10 日提交）提出 CuREV，一个面向代码审查评论数据的 LLM 策展管线，核心创新在于同时优化”有用性”（usefulness）和”自然性”（naturalness）这两个常相互矛盾的数据质量目标。论文提出两代管线：第一代系统化改写所有评论，第二代基于高质量样例引导低质量评论改写，在提升清晰度和可操作性的同时保留多样化的写作风格。

技术细节

• 问题形式化：代码审查评论数据天然存在有用性（信息密度/可操作性）与自然性（表达多样性/人类风格）的张力——过于精炼的评论虽然有用但风格单一，过于口语化的评论虽自然但难以学习。
• 第一代管线（CuREV-v1）：LLM 系统化改写所有评论，优化清晰度/简洁度/礼貌性，保留语义意图。下游任务（评论生成/代码修复）均有提升，但改写后风格趋同。
• 第二代管线（CuREV-v2）：先系统性质量评估将数据分为高质量/低质量，保留高质量原始评论作为 in-context exemplar，引导 LLM 改写低质量评论。不同 exemplar 产生不同改写风格，实现”有用 + 自然”的双重优化。
• 评估：改写数据训练的模型在评论生成和代码修复任务上均优于原始数据训练的模型。风格多样性指标显示 v2 显著优于 v1。

对大模型数据工作的影响

CuREV 的”质量分区 + 样例引导改写”范式具有超越代码审查的普遍意义。当前 LLM 数据策展的核心矛盾之一正是”高质量”（清晰/正确/有用）与”多样性”（风格/视角/表达方式）之间的权衡。CuREV 的解法——保留天然高质量样本作为风格锚点，仅对低质量样本进行有引导的改写——提供了一种可行的工程策略。这一思路可推广到预训练数据精炼：对高质量网页保留原文，对低质量网页进行样例引导的改写，在提升信息密度的同时避免”LLM 风格坍缩”。

---

开源数据策展工具链三连发：FlagData 2.0 + JoyDataForge + Bespoke Curator

事件概述

近一周内三款面向 LLM 训练数据的开源策展工具相继更新或发布，从不同角度补全数据工程工具链：智源 FlagData 2.0 侧重全栈治理（获取→清洗→分析），JoyDataForge 聚焦多路径数据合成策略，Bespoke Curator 则面向后训练数据的大规模策展引擎。三者形成”治理→合成→策展”的完整工具栈。

技术细节

• FlagData 2.0（智源 BAAI）：支持 HTML/PDF/CSV/PNG/PPTX 等多格式高质量内容提取，新增 SFT 数据透视分析功能，支持分布式数据处理，一站式构建训练数据管线。核心升级在于”干净提取”——从非结构化原始格式中提取表格、图片等结构化信息，减少信息损失。
• JoyDataForge（京东健康算法团队）：六种数据合成方法——单模型合成/多模型投票合成/多模型级联合成/Wizard 演化合成/Magpie 指令蒸馏/DPO 合成及打分。评估层面支持 MinHash 过滤、Vendi-score 语义多样性评估、信息熵和辛普森指数实体多样性评估。MIT 许可，Python 包管理。
• Bespoke Curator：专为大规模合成数据生成设计的 Python 框架。核心抽象为 prompt（构造提示词）和 parse（解析结果）两个方法，框架负责异步并发/请求限流/失败重试/结果缓存/成本监控。内置可视化数据查看器。适用于模型微调、知识蒸馏和结构化信息提取。

对大模型数据工作的影响

三款工具的定位互补性极强：FlagData 2.0 解决”原始数据→可训练数据”的治理瓶颈，JoyDataForge 解决”单一数据→多样化数据”的合成瓶颈，Bespoke Curator 解决”合成数据→高质量策展数据”的工程瓶颈。对中小团队而言，这三款工具的组合意味着无需自建基础设施即可构建从原始语料到训练就绪数据的完整管线。值得注意的是，JoyDataForge 的”多模型投票/级联”策略和 Bespoke Curator 的”策展而非生成”理念，分别代表了数据合成的两个演进方向：多源融合的鲁棒性和质量驱动的精细化。

---

本期小结

本周数据工程的主旋律是基础设施的民主化：NVIDIA 将 10T token 数据和完整策展管线开源，智源将 Deep Research 数据合成数学化并开源工具链，三款开源工具分别覆盖治理/合成/策展三个环节。从”用数据”到”理解数据”再到”构建数据”的工程能力，正在从大厂专有走向社区共享。Prompt Atlas 代表的数据可探索性理念尤其值得关注——当数据集规模达到万亿级，“看见数据”比”拥有数据”更具工程价值。