数据工程观察 · 2026年06月04日

本期数据工程观察聚焦”数据供给侧”的几项重大突破：NVIDIA 以 20T token 多模态数据构建物理 AI 基础模型并配套 6 个合成数据集，智元首创性地将失败数据纳入具身智能训练语料，MIT 用百万级编码图表填补 VLM 图表理解数据空白，Qwen3-Coder-Next 与 GLM-5 揭示中训练数据从百亿到万亿 token 的工程实践，Common Pile v0.1 筛选数据与训练配方全面开源。训练数据的规模、多样性与合规性正同步跃升。

NVIDIA Cosmos 3：20T token 多模态数据 + 6 个开源合成数据集

事件概述

NVIDIA 于 6 月 1 日正式发布 Cosmos 3——面向物理 AI 的全模态开放世界基础模型。模型基于突破性 Mixture-of-Transformers (MoT) 架构，将视觉推理、世界生成与动作预测统一于单一系统。同期发布 6 个面向物理 AI 的精选合成数据集，全部以 OpenMDW-1.1 许可在 HuggingFace 开放下载。

技术细节

• 训练数据规模：Cosmos 3 在 20T token 多模态数据上训练，包括近 10 亿张图像、4 亿段真实与合成视频、环境音效、文本及来自人类和机器人的动作数据（关节角度、夹爪位置、运动轨迹等）。
• 6 个合成数据集：Physical-Interaction-Scenes（基于 Isaac Sim 物理引擎生成，物理一致性有保障）、Embodied-Robot-Scenes（多种机器人操作数据）、Autonomous-Driving-Scenarios（驾驶仿真场景）、Warehouse-Operations-Scenes（仓库安全场景）等，覆盖物理 AI 主要应用领域。
• MoT 架构：推理 Transformer 与专家生成 Transformer 结合，先解析物体交互、运动规律与时空关系，再完成视频生成与动作轨迹预测。
• 后训练工具链：附带后训练脚本与 Agent Skills 工具包，方便开发者用自己的数据集微调 Cosmos 3。

对大模型数据工作的影响

Cosmos 3 的数据工程意义远超模型本身。20T token 的多模态物理 AI 数据集是目前该领域最大规模的开放训练语料之一，而 6 个合成数据集直接降低了训练和评测世界模型的数据门槛。特别是 Physical-Interaction-Scenes 基于 Isaac Sim 物理引擎生成，数据本身的物理一致性远高于互联网抓取的杂乱视频数据。对于数据工程团队而言，这套数据+工具链组合提供了一条从合成数据生成、质量保障到模型后训练的完整参考路径。动作数据（而非仅视觉数据）的引入标志着物理 AI 训练数据正在从”看”走向”做”，从感知走向交互。

---

智元 AGIBOT WORLD 2026 “多样交互”：首个含失败数据的开源具身数据集

事件概述

6 月 3 日，智元正式开源 AGIBOT WORLD 2026 数据集第二期主题”多样交互（Rich Interaction）“。这是行业首个聚焦物理交互的开源具身数据集，面向世界模型、神经仿真器、物理感知及表征学习等具身智能研究。核心创新在于：主动保留并强调失败、意外等非理想交互数据的研究价值，而非仅收集成功示范轨迹。

技术细节

• 数据来源：100% 基于真实场景采集，系统记录机器人与不同材质、形态、结构物体之间的物理互动。
• 数据覆盖：成功与失败、预期与意外、稳定与混沌等多种交互状态——包括抓取失败、物体滑落、意外碰撞、液体飞溅、布料变形等非标准情境。
• 验证实验：智元基于世界模型仿真器 Genie Envisioner-Sim 2.0 验证了多样交互数据的价值——纳入更丰富动作分布、接触过程和非理想交互结果的数据，显著提升了 Action-Conditioned World Model 的建模能力，使模型更准确理解”动作如何改变世界”。
• 数据已开放：HuggingFace 平台可下载。

对大模型数据工作的影响

这项工作挑战了具身智能数据集”只采集成功示范”的传统范式。对于世界模型训练而言，如果训练数据只包含标准动作和成功示范，模型容易停留在对成功状态的过拟合上，难以预测真实世界中的失败分布与物理演化。智元的实践表明，失败数据不是噪声，而是理解物理规律的关键数据入口。这一理念对大模型数据工程有普遍启示：数据策展不应仅追求”高质量成功案例”，覆盖失败、边界和异常场景的数据同样具有不可替代的训练价值。具身数据建设正在从”教机器人如何完成任务”转向”教机器人理解真实世界如何回应动作”。

---

MIT ChartNet：百万级图表理解训练数据集

事件概述

MIT 与 MIT-IBM 计算研究实验室联合发布 ChartNet，一个包含超过百万张多样化图表的综合性训练数据集，旨在解决视觉语言模型（VLM）在图表理解上的性能瓶颈。该成果将在 CVPR 2026 上正式发布。

技术细节

• 数据规模：百万+多样化图表，覆盖商业报告、财务文档、政府文件、学术论文等多种来源。
• 编码方式：对每张图表的视觉、语言和数值信息进行详细编码，使模型能够对图表内容进行稳健的推理分析——而非仅做图像标题生成。
• 数据生成方法：采用全新的合成数据生成管线，系统性地构建覆盖多种图表类型和风格的高质量训练样本。
• 实验结果：使用 ChartNet 训练的小型开源模型在数据提取和图表摘要等任务上，显著超越了体量大数个量级的商业模型。

对大模型数据工作的影响

ChartNet 揭示了多模态训练数据中的一个关键空白：图表理解要求模型同时整合视觉、数值与语言理解能力，但现有训练数据集中图表图像数量有限、来源单一、缺乏辅助信息。ChartNet 的核心贡献在于对视觉-数值-语言三重信息的联合编码——不是简单地给图表配文字说明，而是将图表中的每个数据点、视觉编码与语义信息对齐。这为多模态数据工程提供了一个重要范例：高质量的多模态训练数据需要在信息维度上进行深度标注，而非停留在表层的图文配对。同时，小型模型在专属高质量数据上超越大型通用模型的实验结果，再次验证了”数据质量 > 数据规模”的数据工程铁律。

---

中训练数据工程新范式：Qwen3-Coder-Next 600B token 与 GLM-5 1.55T token 实践

事件概述

近期，Guanghan 发布了题为《Re-visiting Mid-training Stage: for & with Agentic RL》的深度分析文章，系统梳理了中训练（Mid-training）从独立阶段到与 RL 形成闭环的演进路径。其中，Qwen3-Coder-Next 和 GLM-5 的中训练数据工程实践尤为引人注目——两者采用了截然不同的中训练策略，但都推动了前沿。

技术细节

• Qwen3-Coder-Next（80B 总参 / 3B 活跃 MoE）：中训练阶段使用 600B token 的仓库级代码数据 + 多脚手架智能体轨迹 + 800K 合成软件工程任务。SWE-Bench Verified 达 71.3%，SWE-Bench Pro 达 44.3%，与活跃参数量 10-30 倍的模型竞争力相当。
• GLM-5（744B 总参 / 40B 活跃 MoE）：三阶段渐进式上下文扩展（32K → 128K → 200K），使用 1.55T token 中训练数据，同时覆盖代码、推理、长上下文与智能体数据。SWE-Bench Verified 达 77.8%。
• “For & With” 框架：中训练为 Agentic RL 提供知识基础（for），RL 信号反向改进中训练数据权重（with）。ReMiT 论文证明 RL 模型的 token 级概率差距可作为中训练损失权重，形成自强化飞轮。
• SWE-smith：128 个 GitHub 仓库仅用 20 小时人工+1,360 美元算力即可制造 50,000 训练实例，SWE-Bench Verified 达 40.2%（纯拒绝采样，无需 RL）。

对大模型数据工作的影响

Qwen3-Coder-Next 与 GLM-5 的实践标志着中训练数据工程进入”万亿 token 级”时代。两者的策略差异——前者聚焦代码领域 600B token 深度注入，后者采用 1.55T token 全领域广度覆盖——揭示了中训练数据配比没有唯一最优解，需要根据目标领域与模型架构定制。更深层的影响在于”中训练与 RL 闭环”范式的确立：中训练不再是单向的前置阶段，RL 训练后的模型信号可以反馈指导中训练数据选择，形成”数据→模型→信号→数据”的飞轮。这对数据工程团队意味着，中训练数据的策展需要具备可追溯性和可调整性，以支持闭环优化。SWE-smith 则证明了低成本规模化合成代码训练数据的可行性，大幅降低了中训练数据的获取门槛。

---

Common Pile v0.1 筛选数据集与 Comma v0.1 训练配方开源

事件概述

Common Pile v0.1 的筛选后数据集及 Comma v0.1 训练数据集近期在 HuggingFace 全面更新发布。原始 8TB 开放许可文本经过过滤、去重后的高质量版本，连同 Comma v0.1-1T / 2T 模型的完整训练混合配方一并开放，为合规预训练数据工程提供了端到端参考。

技术细节

• 筛选数据集：对 8TB 原始数据进行质量过滤与去重，涵盖 arXiv 论文、法律文书、生物多样性文献、维基百科等 30 个来源，逐分片（shard）提供溯源元数据。
• Comma v0.1 训练数据集：完整公开了 Comma v0.1-1T 和 Comma v0.1-2T 两个 7B 模型的训练配方，包括精确的混合比例、数据来源权重和训练检查点。
• 三级风险分类：所有数据源按许可风险分为三级（公共领域/宽松许可 → 有条件使用 → 低风险添加），支持风险感知的数据使用策略。
• 性能验证：Comma v0.1-2T 在标准基准上与 Llama 1/2 7B 持平，首次实证合规数据可训练出有竞争力的模型。

对大模型数据工作的影响

Common Pile v0.1 的筛选数据集开源是合规预训练数据工程的重要里程碑。此前，大多数开放许可数据集要么规模太小，要么质量不足以训练出有竞争力的模型。Common Pile 的实践证明，通过精细的来源筛选、质量过滤和风险分级，合规数据可以逼近甚至匹配传统大规模网络爬取语料的训练效果。训练配方的完整开源尤为关键——它不仅提供了数据本身，还公开了”如何使用这些数据”的完整方案，使其他团队可以复现、调整或扩展。在 Amnesty International 近期揭露大规模非法训练数据管道的背景下，Common Pile 的合规优先策略提供了一条可行的替代路径，推动了训练数据从”先爬再说”向”合规优先”的范式转变。