数据工程观察 · 2026年05月03日

本期数据工程观察聚焦预训练数据基础设施的几项重要进展。从 NVIDIA 将万亿 token 级数据构建流水线开源、微软首次实证验证合成数据的规模法则，到 MiniMax 的可验证推理数据合成框架和智源 CCI 4.0 的双语 CoT 推理数据，再到 DataFlow 的统一数据准备系统——数据工程正从”量”的积累走向”质”的系统化构建，合成数据的方法论与验证体系日趋成熟。

---

NVIDIA Nemotron-CC 构建流水线开源集成至 NeMo Curator

事件概述

NVIDIA 将 Nemotron-CC 数据集的完整构建流水线（pipeline）合并至 NeMo Curator GitHub 仓库，正式开源。Nemotron-CC 是一个基于 Common Crawl 的 6.3 万亿 token 英语预训练数据集，其中包含 1.9 万亿 token 的合成数据。此前该数据集仅以成果形式发布，如今构建过程完全透明可复现。

技术细节

Nemotron-CC 采用三阶段处理流程：① HTML 文本提取与过滤；② 基于模型的质量标记（分类器集成）；③ 合成数据生成。其核心创新在于将分类器集成（classifier ensemble）与合成数据重述（synthetic data paraphrasing）结合，在保留数据规模的同时大幅提升质量。合成数据使用四种 LLM 提示方法生成：问答组、蒸馏、重述与改写。实测中，用 Nemotron-CC 高质量子集训练的 8B 模型在 MMLU 上较 DCLM 提升 5.6 分；在 15T token 长训练中，基于 Nemotron-CC 数据微调的 Llama 3.1 8B 模型 MMLU 从 65.3 提升至 70.3。与 FineWeb-Edu 和 DCLM 不同，Nemotron-CC 在提升质量时仅移除约 50% 的数据（而非 90%），保留了长训练所需的体量。

对大模型数据工作的影响

这是首个将万亿级 token 预训练数据集的完整构建流水线开源的项目。对数据工程团队而言，NeMo Curator 中的 Nemotron-CC 工作流提供了一个可复现的端到端方案，涵盖从原始爬取数据到高质量训练集的全链路。其”分类器 + 合成重述”的混合策略尤其值得关注——这为解决”高质量数据与数据量不可兼得”的经典困境提供了一条可行路径。

---

微软 SynthLLM：首次实证验证合成数据的规模法则

事件概述

微软亚洲研究院发布 SynthLLM 框架，并首次通过实证验证了使用合成数据微调语言模型时规模法则（Scaling Law）的适用性。该研究直指”数据墙”问题——互联网可用的自然训练数据正在枯竭，合成数据成为关键替代方案。

技术细节

SynthLLM 框架能够生成多样化的合成数据，填补自然数据的空缺。关键发现包括：① SynthLLM 生成的合成数据在各规模下可靠地遵循修正的规模法则（Rectified Scaling Law），意味着合成数据的性能提升是可预测的；② 性能提升在约 3000 亿 token 处趋于平稳，为确定合成数据的最优投入量提供了量化依据；③ 合成数据的质量与多样性对最终性能的影响可通过规模法则进行资源分配优化。该研究将原本仅适用于自然数据预训练的规模法则扩展到了合成数据微调场景。

对大模型数据工作的影响

合成数据的”可预测性”是这项工作的核心贡献。此前，团队在使用合成数据时往往凭经验调参，缺乏理论指导。SynthLLM 的规模法则使得团队可以在投入大量计算资源之前，先通过小规模实验预测最终效果，从而做出更优的模型规模与数据量配比决策。3000 亿 token 的性能天花板也为合成数据的投入产出比划定了边界——超过这一阈值后的边际收益将显著递减。

---

MiniMax SynLogic：35 种逻辑推理任务的大规模可验证数据合成

事件概述

MiniMax 联合香港科技大学发布 SynLogic，一个面向逻辑推理的数据合成框架及数据集，涵盖 35 种不同的逻辑推理任务（如数独、24 点游戏、密码解码、箭头迷宫等），所有示例均可通过简单规则验证，适用于带可验证奖励的强化学习训练。

技术细节

SynLogic 的核心设计理念是：逻辑是推理的基本构建块，通用推理能力的开发应从逻辑推理出发。框架支持可控难度合成，每个任务的参数可调，实现从易到难的数据梯度生成。数据验证方面，所有任务都有确定性的验证函数，无需 LLM 作为评判者即可自动判定答案正确性——这直接解决了 RL 训练中奖励信号可靠性这一核心问题。基于 Qwen2.5-32B-Base 训练的 SynLogic-32B 在 BBEH 基准上超越了 DeepSeek-R1-Distill-Qwen-32B，且在数学等领域展现出强泛化能力。

对大模型数据工作的影响

SynLogic 代表了”可验证数据合成”范式的成熟。与传统的 LLM-as-judge 模式相比，基于规则验证的合成数据在 RL 训练中具有零幻觉奖励的优势，大幅降低了训练不稳定的风险。35 种任务的覆盖广度也意味着该框架可为不同推理维度的专项强化提供数据支撑。对于数据工程团队而言，SynLogic 的可扩展架构和可调难度设计提供了一套可复用的推理数据生产方法论。

---

智源 CCI 4.0：35TB 中英双语预训练数据集迈入 CoT 推理时代

事件概述

智源研究院在巴黎 GOSIM 全球开源创新论坛上发布 CCI 4.0，这是该系列首次从单语扩展为双语（中英），并首次采用 CoT 方法合成推理轨迹数据。数据集总量达 35TB，由智源联合阿里云、上海 AI Lab、华为等 14 家机构共同构建。

技术细节

CCI 4.0 包含三个子集：① CCI 4.0-M2-Base V1（中英双语 26TB），含 5.2TB 中文精选语料与来自 Nemotron-CC 的 22.5TB 英文子集，以及数学、维基、arXiv、代码等多样化资源；② CCI 4.0-M2-CoT V1（4250 亿 token），含 4 亿条模拟人类思维轨迹的推理数据；③ CCI 4.0-M2-Extra V1 扩展版。数据处理流程包括两阶段去重、多分类器质量评分和领域感知的流畅度过滤。CoT 数据的合成采用分阶段提取而非从更大模型蒸馏的方式，展现多样化的推理模式并显著降低幻觉可能。中文数据规模较 CCI 3.0 增长 5 倍。

对大模型数据工作的影响

CCI 4.0 的发布标志着中文预训练数据基础设施进入新阶段。此前的开源中文数据集在质量和规模上长期落后于英文生态，CCI 4.0 的大幅扩容和双语覆盖显著缩小了这一差距。CoT 推理数据的系统化合成尤为值得关注——不同于简单的大模型蒸馏，分阶段提取方法在保证推理多样性的同时控制了幻觉率，为预训练阶段注入推理能力提供了新的数据工程范式。

---

DataFlow：LLM 驱动的统一数据准备与工作流自动化框架

事件概述

北京大学、上海人工智能实验室、OpenDataLab 等机构联合发布 DataFlow，一个面向 Data-Centric AI 时代的 LLM 驱动统一数据准备框架。该系统覆盖从原始数据解析、生成、处理到评估的完整生命周期，支持预训练、SFT 和 RL 训练等多种数据需求。

技术细节

DataFlow 提供基于 LLM 的算子（Operator）库和可编排的流水线（Pipeline）系统。核心能力包括：① 从噪声源（PDF、纯文本、低质量 QA）中解析与生成高质量数据；② 支持 RAG 场景的知识库清洗；③ 提供数据质量评估模块。实证验证中，使用 DataFlow 生成的域数据仅需 10K 样本即可让 Qwen2.5-Base 超越在 100 万条 Infinity-Instruct 上训练的模型，并接近对应 Qwen-Instruct 模型的性能，展现了极高的数据效率。DataFlow 同时提供了开放的用户友好协议框架，支持自定义算子的接入与扩展。

对大模型数据工作的影响

DataFlow 填补了数据工程工具链中”统一框架”的空白。当前数据准备流程往往分散在多个工具中（data-juicer 清洗、tiktoken 分词、PyTorch 批处理等），DataFlow 将这些环节整合为一个 LLM-native 的端到端系统。其”10K 数据胜过 1M 数据”的实证结果也印证了 Data-Centric AI 的核心主张：数据质量的系统性提升比单纯增加数据量更为关键。对于需要构建领域专用数据集的团队而言，DataFlow 提供了一套从噪声数据到高质量训练集的一站式解决方案。