数据工程观察 · 2026年05月06日

引言

数据工程正在经历从”量”到”质”的关键转型。本期动态涵盖预训练、中训练和后训练三个阶段的数据基础设施进展：NVIDIA 发布 133B token 的数学预训练语料 Nemotron-CC-Math-v1，为领域专用预训练树立新标杆；国家数据集管理服务平台正式上线，国家级数据治理基础设施落地；LLM360 开源 TxT360-MidAS 中训练数据集，首次系统化地展示中训练阶段的四阶段数据配比策略；FineInstructions 将合成指令扩展至预训练规模，弥合预训练与指令微调的数据鸿沟；AgentIR 配合 DR-Synth 提出推理感知检索范式，为深度研究智能体的数据合成开辟新路径。

---

NVIDIA Nemotron-CC-Math-v1：133B token 数学预训练语料

事件概述

NVIDIA 发布 Nemotron-CC-Math-v1，一个包含 1333 亿 token 的大规模高质量数学预训练语料。该数据集从 Common Crawl 中提取，通过 Lynx + LLM 管道精心保留 LaTeX 格式和数学结构，已被用于 Nemotron-3 Super 模型的预训练流程。论文同期发布于 arXiv（2508.15096）。

技术细节

• 数据来源与提取：基于 Common Crawl 原始网页，采用 Lynx 文本提取器配合 LLM 筛选管道，专门保留含数学内容的高价值页面，保留 LaTeX 排版和公式结构，避免传统 HTML 清洗对数学表达式的破坏。
• 质量过滤策略：相比传统启发式规则（如 FastText 分类器），Nemotron-CC-Math 降低了对手工规则的依赖，转而使用分类器集成（classifier ensembling）与 LLM 辅助质量标注，更精准地识别数学内容。
• 基准表现：在数学推理基准测试上，Nemotron-CC-Math 显著优于 FineMath、MegaMath 和 OpenWebMath 等现有开源数学语料，同时在代码和通用推理任务上也带来竞争性收益。
• 生态整合：该数据集是 NVIDIA 更广泛的预训练数据家族的一部分，同系列还包括 Nemotron-CC-Code-v1（427.9B code tokens）和 Nemotron-Pretraining-Code-v1/v2（1.09T curated code tokens），共同支撑 Nemotron Nano 2 和 Nemotron-3 Super 系列模型。

对大模型数据工作的影响

数学推理能力是当前大模型的核心短板之一，而数学预训练数据的稀缺和质量问题长期存在。Nemotron-CC-Math-v1 的发布为社区提供了首个超越 FineMath/OpenWebMath 规模的专用数学语料，其”保留结构而非清洗掉”的思路对数学/代码类数据的处理具有方法论指导意义。结合同系列代码语料，NVIDIA 正在构建覆盖数学-代码-通用文本的完整预训练数据栈，这对开源模型的数据选配策略将产生深远影响。

---

国家数据集管理服务平台正式上线：AI 训练数据进入集约化管理时代

事件概述

2026 年 4 月 29 日，在第九届数字中国建设峰会上，国家数据集管理服务平台（NDSMS）正式发布并启动试运行。这是国家层面首次推出的数据集管理服务平台，由国家数据局指导、国家数据发展研究院建设和运营。同期，工业和信息化部与国家数据局联合启动 2026 年”模数共振”行动，推动 AI 模型与数据资源协同发展。

技术细节

• 平台架构：采用”物理分散、逻辑集中”的数据集管理体系，提供覆盖数据集全生命周期的公共服务能力，包括供需发布、全域检索、凭证申领等基本功能。
• 数据规模：截至 2026 年一季度，全国已建成高质量数据集超过 11.6 万个，总体量超过 960PB（约等于中国国家图书馆数字资源总量的 336 倍）。平台发布当日已认证供需主体 200 余家，发布数据集 1000 余个。
• 三期规划：一期（已上线）聚焦目录汇聚和基本功能；二期计划 2026 年 6 月上线，增加建设进展监测、质量评测和权益激励等功能；三期计划年底完成，结合数据产权制度提供工具链和定价评估服务。
• “模数共振”行动：面向钢铁、石化、汽车、医疗等 19 个行业领域，推动产出一批行业模型和高质量数据集，构建行业通识与专识数据体系。

对大模型数据工作的影响

这是中国 AI 数据基础设施从”分散探索”走向”集约化管理”的标志性事件。对于训练大模型的团队而言，该平台将逐步解决三个核心痛点：数据集发现难（全域检索）、质量无保障（质量评测）、权属不清（凭证申领和产权制度）。特别是即将推出的质量评测和定价评估功能，有望为 AI 训练数据的标准化定价和合规使用建立行业基准。“模数共振”行动进一步明确了行业数据集建设的方向，垂直领域的模型训练团队应密切关注相关行业数据集的发布与准入机制。

---

LLM360 TxT360-MidAS：首个系统化中训练数据集开源

事件概述

LLM360 团队发布 TxT360-MidAS（Mid-training Actual and Synthetic data），这是首个系统化定义中训练（mid-training）阶段数据配比的开源数据集。该数据集被用于训练 K2-V2 模型（70B 参数稠密 Transformer），使模型在长上下文（最长 512K token）和复杂推理任务上均取得强劲表现。

技术细节

• 四阶段中训练设计：数据集按四个阶段（Stage 1-4）组织，每个阶段有不同的数据配比和训练目标：
  • Stage 1：通用能力巩固，包含 web 数据（CC 分桶）、长上下文数据（Cosmopedia、PG-19、Ubuntu IRC）、论文数据（arXiv、PubMed、S2ORC）和数学数据（MegaMath）等。
  • Stage 2：推理能力注入，加大数学和代码数据比例，引入合成 QA 数据（Txt360-QA）和长上下文扩展数据。
  • Stage 3-4：渐进式上下文长度扩展与推理能力强化，使用更长的序列和更难的推理数据。
• 合成数据策略：各阶段均引入合成数据，包括合成数学推理轨迹、合成 QA 对和合成行为数据（AI、规划、通用行为），中训练阶段合成数据与真实数据协同使用。
• 模型验证：K2-V2 在长上下文一致性、数学理解和推理技能上表现突出，验证了分阶段中训练数据策略的有效性。

对大模型数据工作的影响

中训练（mid-training）是预训练和后训练之间的关键过渡阶段，但此前缺乏系统化的开源数据参考。TxT360-MidAS 首次将中训练拆解为四个阶段，每个阶段明确数据来源、配比和训练目标，为社区提供了可复用的中训练数据配方。其”分阶段渐进注入推理能力”的思路对长上下文模型和推理增强模型的数据工程具有重要参考价值，特别是合成数据在中训练各阶段的比例和引入时机值得深入研究。

---

FineInstructions：将合成指令扩展至预训练规模

事件概述

FineInstructions 项目（arXiv:2601.22146）提出了一种将合成指令数据扩展至预训练规模的方法论和工具链，在 Nemotron-CC 语料上生成了超过 10 亿条合成指令，覆盖约 3000 亿 token。这是首次将指令微调数据的规模提升至与预训练数据可比的量级。

技术细节

• 指令模板提取：提出 QueryTemplatizer 模型，从真实用户查询中提取约 1800 万个指令模板（FineTemplates），涵盖多样化的任务类型和查询模式。
• 大规模指令生成：基于提取的模板，在 Nemotron-CC 语料库上生成 10 亿+ 条合成指令数据，将指令数据的规模从传统的百万级提升至十亿级。
• 模板检索与匹配：训练了 Instruction Template Retrieval Embedding 模型，用于将新文档与最合适的指令模板匹配，实现”文档→指令”的自动化管道。
• DataDreamer 框架：整个流程基于 DataDreamer 合成数据框架构建，确保数据生成的可追溯性和可复现性。

对大模型数据工作的影响

传统大模型训练中，预训练阶段使用无结构的文本数据（next-token prediction），而指令微调阶段使用小规模结构化数据（instruction-response pairs），两者之间存在巨大的数据鸿沟。FineInstructions 的核心贡献在于弥合这一鸿沟——通过将指令模板与预训练语料结合，可以在预训练阶段就引入指令感知的训练信号。这种方法有望减少预训练到指令微调的能力断层，为”预训练即对齐”的范式提供数据层面的支撑。其开源的工具链（模板提取器、检索嵌入模型、生成管道）也为数据工程师提供了可直接使用的生产工具。

---

AgentIR + DR-Synth：面向深度研究的推理感知检索与数据合成

事件概述

智源研究院发布 AgentIR，提出推理感知检索（Reasoning-Aware Retrieval）新范式，并配套设计了 DR-Synth 数据合成方法，可从标准 QA 数据集自动生成适用于深度研究场景的检索器训练数据。AgentIR-4B 在 BrowseComp-Plus 基准上达到 68% 准确率，超越参数量两倍的传统嵌入模型（50%）和 BM25 方法（37%）。该方法与 InfoSeek 数据合成框架形成互补，共同推动深度研究智能体的数据基础设施完善。

技术细节

• 推理感知检索：将检索器的输入从单纯的查询 q_t 扩展为推理链 τ_t 与查询的拼接，即 o_t ← R(τ_t, q_t)，使检索器能够理解智能体在搜索前的推理上下文和意图。
• DR-Synth 数据合成：从标准 QA 数据集出发，自动生成深度研究场景所需的检索训练数据。模拟深度研究智能体的多轮搜索行为，为每一步生成带有推理上下文的检索训练对。
• 三种推理模式：
  • 进展追踪：智能体总结当前搜索进展并规划下一步
  • 查询优化：基于前几轮结果精炼搜索策略
  • 假设性搜索目标：利用参数化知识推断可能的答案方向
• 性能对比：AgentIR-4B + Tongyi-DeepResearch 在 BrowseComp-Plus 上达到 68%，而 8B 参数的传统嵌入模型仅 50%，BM25 仅 37%。

对大模型数据工作的影响

AgentIR + DR-Synth 的核心意义在于：它将”数据合成”的范围从模型训练数据扩展到了检索系统训练数据，填补了深度研究场景下检索器训练数据的空白。传统检索器用人类查询训练，但深度研究智能体的查询模式与人类完全不同——智能体在搜索前会生成显式推理链，而现有检索器完全忽视了这一信号。DR-Synth 提供了一种将通用 QA 数据转化为检索器训练数据的自动化方法，大幅降低了深度研究检索系统的数据构建成本。这预示着数据工程的工作范畴正在从”为模型生成训练数据”扩展到”为整个 AI 系统生成训练数据”。