数据工程观察 · 2026年07月03日

本期聚焦多语言预训练数据规模化、数据选择理论进展、智能体驱动数据加工范式革新，以及垂直领域合成预训练数据的实践落地。从万亿美元级多语言平行语料到步骤级轨迹过滤，数据工程正在从”量”的积累走向”质”的精耕。

---

MultiSynt/MT：万亿 Token 36 语言平行预训练语料

事件概述

arXiv 于 7 月 1 日发布论文 MultiSynt/MT，由 EuroLLM 和 OpenEuroLLM 两大欧洲开源 LLM 项目联合团队推出目前最大规模的多语言平行预训练语料。该数据集将 1000 亿高质量 Nemotron-CC 英文 token 通过 Tower+ 和 OPUS-MT/HPLT-MT 翻译系统翻译为 36 种欧洲语言，产出约 4.8 万亿目标语言 token。对许多中低资源欧洲语言而言，这是目前最大规模的开源预训练资源。

技术细节

• 核心策略是将高质量英文语料”翻译扩容”而非从零爬取各语言原生数据，解决低资源语言预训练语料匮乏的根本瓶颈
• 两种机器翻译系统并行翻译并逐行对齐，支持受控对比研究
• 关键实验发现：在匹配 100B token 训练预算下，MultiSynt/MT 训练的 LLM 比原生数据基线 HPLT 2.0 高约 15% 相对分数；仅需约 28% 的训练 token 即可达到 HPLT 2.0 的最终性能
• 研究同时揭示评测盲区：标准多选基准无法捕捉翻译质量差异，LLM-as-Judge 流利度评测才能恢复差异；挪威语等语言中习语和文化相关任务仍更依赖原生数据

对大模型数据工作的影响

MultiSynt/MT 证明”高质量源语料+机器翻译”是低资源语言预训练数据构建的有效范式，其 72% 的 token 节省率极具工程吸引力。同时，翻译数据在习语和文化接地性上的不足提醒我们：翻译不是万能药，特定语言仍需原生数据补充。该数据集的逐行对齐和多系统翻译也为研究翻译质量对模型能力的影响提供了前所未有的实验平台。

---

SPOKES：基于 G-Vendi 分数的多样性驱动预训练数据选择

事件概述

arXiv 于 6 月 13 日发布论文 SPOKES，由 UW/Allen AI 团队提出直接优化数据多样性的预训练数据选择框架。现有方法通常依赖代理指标或近似策略来确保子集多样性，但往往无法保证足够多样的子集。SPOKES 通过引入基于 G-Vendi 分数的概率多样化框架，配合指数梯度下降实现集合级多样性直接优化。

技术细节

• 多样性是集合级属性（依赖数据点间交互而非单个样本），传统逐样本评分无法直接优化
• SPOKES 将数据选择建模为概率分布，以 G-Vendi 分数作为多样性目标函数，通过指数梯度下降优化
• 在 50 万样本子集上 G-Vendi 分数提升 +489（相比随机采样）
• 在 FineWeb 和 DCLM 上，仅多样性优化（SPOKES-div）平均下游性能分别提升 +0.5 和 +0.4
• 联合优化质量与多样性取得最强结果：SPOKES 在 DCLM 上 +1.5、FineWeb 上 +1.4，超过语义去重和质量过滤等所有基线

对大模型数据工作的影响

这项工作将”多样性”从数据工程中的模糊直觉提升为可量化和可优化的数学目标。关键启示是：质量和多样性不是对立的——联合优化才能产生最强效果。G-Vendi 分数作为集合级多样性度量，可直接集成到现有数据策展流水线中，为预训练数据选择提供了新的理论工具。数据工程师不再需要在”多而冗”和”精而狭”之间凭经验权衡。

---

DataClaw₀：智能体裁剪——从原始多模态流到定制训练数据

事件概述

arXiv 于 6 月 19 日发布论文 DataClaw₀，由西安交大、中科院、清华联合团队提出”智能体裁剪”（Agentic Data Tailoring）范式。不同于传统的被动标注，DataClaw₀ 将数据处理升维为可学习的高阶能力——一个 9B 参数的智能体主动根据下游目标对原始多模态数据进行筛选、结构化和重构。

技术细节

• 提出”数据熵”问题：海量原始多模态流（长视频、GUI 轨迹、具身操作序列）信息密度不均，被动标注无法挖掘深层过程逻辑
• 两阶段管线：Bottom-up Factual Anchors（确定性事实锚点提取）→ Top-down Semantic Synthesis（意图驱动的语义合成）
• DataClaw₀-9B 通过 SFT + GRPO 训练，支持 Omni 统一模型和 Expert 分域专家两种部署范式
• 构建 DataClaw₀-val：首个数据精炼质量评测基准，包含 JSON 有效性、Schema 感知的 Field/Semantic/Sequence 指标
• 下游验证：在视频生成、真实世界 VQA、GUI 导航三个场景中，DataClaw₀ 裁剪的数据在等量训练预算下均优于原始数据，且在数据稀缺场景下优势更显著

对大模型数据工作的影响

DataClaw₀ 标志着数据加工从”工具辅助”向”智能体驱动”的范式跃迁。当数据精炼成为可学习的技能，数据工程的核心问题从”用什么规则过滤”转变为”怎么训练一个会过滤的智能体”。这对后训练和 RL 阶段尤其关键：少量高质量精炼数据远胜大量原始数据。但需警惕的是，智能体裁剪可能系统性传递其盲点和偏见——精炼者和被训练者之间的认知闭环需要外部审计机制来打破。

---

WebSTAR：步骤级过滤——噪声轨迹中的可靠监督信号

事件概述

ACL 2026 长文 WebSTAR（UIUC + Microsoft）提出步骤级过滤（Step-Level Filtering）作为智能体数据合成的关键原则。论文从 OpenAI computer-use-preview 模型的噪声轨迹中，通过逐步骤评估提取正确动作，构建 WebSTAR 数据集（13.3K 轨迹，267K 分级步骤），7B 模型在 WebVoyager 上超越 SoTA 开源 CUA 模型 UI-TARS-1.5-7B 超过 15%。

技术细节

• 核心问题：强 CUA 模型的轨迹仍包含大量错误或次优动作，简单模仿训练无效
• 三阶段管线：(1) 轨迹采集（Chromium 环境执行）→ (2) 思维增强 + 步骤评分（模型逐步骤打分 0-10）→ (3) 步骤级过滤（仅保留高分步骤）
• 关键发现：训练仅使用正确轨迹中的正确步骤，比使用正确轨迹中的所有步骤效果更好
• WebSCORE：基于步骤评分构建的过程奖励数据集，训练 StepRM（7B 多模态过程奖励模型，从 o4-mini 蒸馏），评分质量与 o4-mini 匹配但部署成本远低
• 在 WebVoyager 上，7B 步骤级模型达到 47.0% 成功率，远超 UI-TARS-1.5-7B 的 30.0%

对大模型数据工作的影响

步骤级过滤确立了一条重要的数据工程原则：在序列决策数据中，信号粒度应与评价粒度对齐。轨迹级过滤丢弃整个轨迹过于粗暴，而步骤级过滤能从不完美轨迹中回收有价值的步骤。这一原则不仅适用于 GUI 智能体，也适用于代码生成、数学推理等所有涉及多步推理的训练数据策展。StepRM 作为轻量级过程奖励模型，使步骤级质量评估可大规模部署。

---

NVIDIA Nemotron-Pretraining-Legal-v1：法律领域预训练合成数据

事件概述

NVIDIA 发布 Nemotron-Pretraining-Legal-v1，包含 960 万条合成法律预训练样本（7 GB），使用 Qwen3-235B-A22B-Instruct-2507 生成。该数据集是 Nemotron 3 Ultra 预训练数据家族的法律专项子集，CC BY 4.0 许可，消融实验显示加入此数据可将 Nemotron 3 Nano 的 LegalBench 代理平均准确率从 64.6 提升至 74.7。

技术细节

• 数据集采用四类构建策略：(1) HTML 抽取（加州法规、纽约法院伦理意见、联邦法规 eCFR）；(2) LLM 清洗（Caselaw 案例摘要 540 万条）；(3) 格式转换（CaseHOLD 多选题、ContractNLI 证据提取）；(4) 纯合成（法律定义分类、多元化管辖权判定、判决功能分类、全球国籍法、CUAD 合同条款理解、服务条款条款理解）
• 合成数据覆盖法律推理的多维度能力：事实认定、规则识别、分析推理、条款分类
• 每条数据附有 category 标签和 models_used 元数据，支持来源追溯

对大模型数据工作的影响

Nemotron-Pretraining-Legal-v1 展示了垂直领域预训练数据的系统性构建方法论：不是简单堆砌法律文本，而是将法律推理拆解为定义分类、管辖权判定、判决功能识别等可操作的认知子任务，再为每个子任务设计对应的数据合成策略。10.1 分的 LegalBench 提升表明，精准的领域认知拆解 + 针对性合成比泛泛地灌入法律文本有效得多。该数据集的 CC BY 4.0 许可和来源标注也为合规训练数据树立了标杆。