数据工程观察 · Vol.61

数据工程观察 · 2026年06月06日

主权AI数据合成方法论落地东南亚、模型内部信号驱动RL数据工程、样本级预训练混合范式、含失败数据具身数据集与视频时序定位数据策展

数据工程 主权AI 合成数据 稀疏自编码器 数据混合 具身智能 视频理解 人物数据集 RL数据工程 预训练数据

引言

本期聚焦数据工程的三个前沿方向：主权AI数据合成方法论的地缘化落地、从外部信号到模型内部信号的数据工程范式迁移，以及垂直领域训练数据的策展创新。NVIDIA 与 FPT 联合发布的 Nemotron-Personas-Vietnam 将人口统计驱动的人物合成方法论推向东南亚，标志着”数据主权即AI主权”理念从口号走向工程实践；清华 SAERL 首次将稀疏自编码器从可解释性分析工具升维为数据工程接口，开辟了”模型自知”式数据选择新范式；美团+北大 SampleMix 则从样本粒度颠覆领域级数据混合传统，揭示跨域语义重叠的惊人程度。具身智能与视频理解领域的数据策展同样传来重要进展。

NVIDIA × FPT 发布 Nemotron-Personas-Vietnam：主权AI数据合成方法论落地东南亚

事件概述

2026年6月5日，FPT Corporation 与 NVIDIA 联合发布 Nemotron-Personas-Vietnam 数据集，旨在推进东南亚主权AI发展。该数据集包含 90 万个合成人物角色，基于越南最新官方人口统计和地理结构生成，每条记录包含 31 个字段（9 种人物叙事、6 个人物属性、15 个上下文属性、1 个唯一标识符），已在 HuggingFace 上以开源形式发布，CC BY 4.0 许可，允许商业使用。

技术细节

Nemotron-Personas 方法论采用”人口统计先行”的两阶段管线：第一阶段，基于官方统计数据（人口普查、劳动力调查、地理分区等）通过概率图模型（PGM）采样结构化属性组合，确保合成人物的人口分布忠实于真实世界；第二阶段，使用 LLM（NeMo Data Designer）将属性组合转化为自然语言叙事。Vietnam 版本由 FPT 贡献本地专业知识与验证方法——FPT Smart Cloud 提供 GPU 云基础设施，量子AI与网络安全研究院主导技术方法论与验证，FPT DC5 执行实地调查采集种子人物数据。

这是 Nemotron-Personas 系列的最新成员，此前已覆盖美国、日本（600 万人物）、韩国（700 万人物，登顶 HuggingFace 趋势榜第一）、新加坡（88.8 万人物）、印度和巴西。

对大模型数据工作的影响

Nemotron-Personas 方法论将”数据主权”从政策理念转化为可复现的工程管线。其核心创新在于：不依赖翻译或爬取，而是从人口统计分布出发”原生”生成目标语言的人物叙事，避免了西方中心数据的文化偏差。研究表明，人口对齐的人物条件化可将社会模拟对齐误差降低 37.9%–49.8%（arXiv:2509.10127）。对大模型训练数据工作而言，这意味着一条可扩展的主权AI数据基础设施路径——各国可基于自身公开统计数据，用统一方法论生成隐私安全、文化适配的训练数据，从源头解决”通用模型不懂本地”的痛点。

SAERL：稀疏自编码器从可解释性工具升维为数据工程接口

事件概述

清华大学研究团队提出 SAERL 框架（arXiv:2605.27354），首次将稀疏自编码器（SAE）从机制可解释性分析工具系统性应用于大语言模型强化学习的数据工程。该框架从模型内部表征中提取多样性、难度、质量三类内在数据属性，分别驱动批次多样性控制、课程式排序和数据过滤三项数据工程操作。

技术细节

SAERL 的核心流程：在 Qwen3-1.7B 第 27 层激活上训练 SAE（扩展因子 64，80GB 文本，4×A100 训练 29 小时），对每道训练题提取读题与解题阶段的 SAE 激活向量，经均值池化+最大值池化拼接为 960 维表示。三个数据属性的具体建模方式：

  • 多样性：SAE 隐空间聚类 + 适度批次混洗，确保每个训练批次包含语义异质样本
  • 难度：基于 SAE 特征激活稀疏性与梯度敏感性构建难度代理指标，实现由易到难的课程学习
  • 质量：SAE 重建误差 + 语义一致性联合建模，设计质量探针进行在线过滤

实验结果显示，在 Qwen2.5-Math-1.5B 上，SAERL 相比基线 GRPO 平均准确率提升 3.00%，达到目标准确率所需训练步数减少 20%。跨模型尺度（0.5B–7B）与 RL 算法（GRPO、PPO、DPO）均验证稳健增益。更重要的是，SAE 可在不同架构（Qwen、Llama、Phi）间零样本迁移，证明其轻量性与可复用性。

对大模型数据工作的影响

SAERL 代表了数据工程信号来源的范式迁移——从依赖外部标注/奖励模型/验证器，转向”让模型自己告诉你数据好不好”。这一思路与此前 ADAPT（在线重加权）和 ForValue（单次前向传播数据价值评估）形成互补，但 SAERL 的独特优势在于：SAE 提供的是结构化的、可解读的特征信号（而非标量分数），能同时建模多个数据属性。SAE 的跨架构迁移性尤其重要——一次 SAE 训练即可服务多模型的数据工程，大幅降低了工具成本。未来，“模型内部信号驱动的数据飞轮”可能成为 RL 训练的标准基础设施。

SampleMix：样本级预训练数据混合颠覆领域级范式

事件概述

美团与北京大学联合提出 SampleMix（EMNLP 2025 Findings），一种自下而上的样本级预训练数据混合策略。与传统领域级（domain-wise）方法先定领域权重再均匀采样的”自上而下”范式不同，SampleMix 对每个样本独立评估质量与多样性，动态确定最优数据分布。

技术细节

SampleMix 揭示了一个被长期忽视的关键事实：预训练语料库中域间语义重叠极为严重。在 SlimPajama 数据集上，99.9% 的 ArXiv 聚类包含 C4 样本，99.6% 包含 CommonCrawl 样本，76.6% 包含 Wikipedia 样本——这意味着”域”作为数据组织单位已经严重失真。

方法论核心：

  • 质量评估：7 维质量评分（表达清晰度、完整性与连贯性、结构与风格、内容准确性、重要性、知识丰富性、逻辑深度），使用 GPT-4o 标注训练序数回归模型
  • 多样性评估：K-Means 聚类 + 紧凑性/分离度指标
  • 采样权重：p(x) = α·d(x) + (1-α)·q(x)，最优 α=0.8（多样性权重远高于质量），经 softmax 转换为采样概率

实验表明，SampleMix 在 8 个下游基准上平均准确率 47.77%，超越所有 6 种领域级基线方法，训练步数减少 1.4–2.1 倍。在 8B 参数规模上仍保持优势（54.86% vs 最佳基线 53.58%）。

对大模型数据工作的影响

SampleMix 的启示直击预训练数据工程的根本假设：领域边界 ≠ 语义边界。当 ArXiv 和 Wikipedia 的聚类重叠率高达 76.6% 时，“给 ArXiv 分配 15% 权重”这种操作本质上是在管理一个虚幻的组织单位。样本级混合将数据选择从粗粒度调配升级为精细筛选，尤其在数据受限场景下（高质量数据稀缺），逐样本评估的价值更加突出。α=0.8 的最优结果也印证了此前多项研究的共识：在预训练阶段，数据多样性比质量的边际收益更大。对于正在进行大规模预训练的团队，SampleMix 提供了一条可落地的路径——不必推翻现有管线，只需在采样层替换为样本级权重即可。

AGIBOT WORLD 2026 “多样交互”：行业首个含失败数据的具身数据集

事件概述

6 月 3 日，智元机器人开源 AGIBOT WORLD 2026 数据集第二期主题”多样交互”（Rich Interaction），这是行业首个聚焦物理交互的开源具身数据集，面向世界模型、神经仿真器、物理感知与表征学习等具身智能研究。与第一期”模仿学习”主题不同，本期主动保留并强调非理想行为的研究价值。

技术细节

该数据集基于 100% 真实场景采集，系统记录机器人与不同材质、形态和结构物体之间的丰富物理互动，覆盖成功与失败、预期与意外、稳定与混沌等多种交互状态。关键创新在于”失败数据也是训练数据”——传统具身数据集只保留成功示范轨迹，而 AGIBOT WORLD 2026 认为失败交互蕴含的物理反馈对于世界模型的训练至关重要，因为世界模型需要理解”动作如何改变世界”，而不仅仅是”如何完成任务”。

对大模型数据工作的影响

这一数据策展理念的转变对具身智能训练数据工程具有标杆意义。此前，NVIDIA Cosmos 3 已发布 20T token 多模态物理AI训练数据，但高质量物理交互数据——尤其是失败交互——的缺失仍是瓶颈。AGIBOT 的实践验证了一个直觉：世界模型需要”知道什么会出错”才能可靠地预测和规划，正如自然语言模型需要负面样本才能学会拒绝。这一”含失败数据”的策展理念未来可能扩展到更多领域——代码训练数据应包含 bug 修复轨迹，医疗诊断数据应包含误诊反思，安全对齐数据应包含对抗性失败案例。

OmniVTG：大规模视频时序定位数据集与自我纠错思维链范式

事件概述

北京大学与华为中央媒体技术院联合发布 OmniVTG，一个大规模、语义丰富的视频时序定位（Video Temporal Grounding）数据集，配套提出自我纠错思维链（Self-Correction CoT）训练范式。该工作针对现有数据集语义局限和模型缺乏自我修正能力两大痛点，已在 HuggingFace 开源。

技术细节

OmniVTG 的核心创新在数据策展与训练范式两个层面：

  • 数据层面：现有视频时序定位数据集往往局限于特定领域（如室内活动、烹饪），词汇覆盖狭窄，导致模型在罕见概念上性能崩塌。OmniVTG 大幅扩展了语义覆盖范围，填补了开放世界视频理解的数据空白。
  • 训练范式：提出 Self-Correction CoT，赋予模型”预测→检测错误→自我修正”的能力。传统方法直接回归时间边界，面对复杂查询往往给出错误预测且无法自知；Self-Correction CoT 让模型先给出初步定位，再审视自身预测的合理性，发现并修正错误。

对大模型数据工作的影响

OmniVTG 的 Self-Correction CoT 范式与 AGIBOT 的”含失败数据”理念形成呼应——两者都强调训练数据应包含”纠错过程”而非仅”正确答案”。对于多模态大模型的训练数据策展，这意味着数据标注不应止步于”正确标签”，而应附加推理链和自我审视过程。这种”过程数据”的策展理念正在成为 2026 年数据工程的共同趋势：从标注结果到标注过程，从成功示范到纠错轨迹，从外部信号到模型自知。