数据工程观察 · 2026年07月11日

引言

ICML 2026 主会刚刚落幕，Workshop 日（7月10-11日）正在首尔进行。本期数据工程观察聚焦训练数据精炼范式的关键突破：从预训练数据的实例级自适应程序编辑，到医疗领域高保真策展超越大规模但低质量语料，再到物理 AI 空间数据基座的行业落地，以及测试时算力向训练数据的左移合成方法。一个清晰的趋势正在浮现——数据工程的竞争焦点已从”量”全面转向”精”。

---

UltraX：面向大规模预训练数据的自适应程序化编辑框架

事件概述

清华大学刘知远团队与面壁智能于 7 月 9 日发布 UltraX（arXiv:2607.08646），提出一种基于函数调用（function-calling）的大规模预训练数据精炼框架，首次在编辑操作空间中引入”插入”操作，补全了删除-修改-插入的完整编辑函数空间，实现了实例级精细编辑。

技术细节

UltraX 的核心创新在于三条管线协同：

1. 程序监督生成管线：数据集自适应提示优化引导专家 LLM 产出端到端精炼文本，通过 Line Alignment Mapping 和 Dynamic Context Replacement 将原始-精炼文本对转化为结构化程序监督
2. 监督质量提升：低置信度样本过滤 + 操作组合比例控制采样，稳定训练分布
3. 可靠执行管线：滑动窗口预测 + 全局操作聚合 + 系统化后处理，保障大规模执行的稳定性

在 FineWeb、RedPajama-v2、AICC、Ultra-FineWeb、FineWeb-ProX-Doc 五大语料库上，UltraX 取得最高平均性能，且在更少训练 token 下匹配或超越基线。与 ProX-C 相比，UltraX 在噪声语料上保留更多非空文档（如 AICC 保留 87.35% vs ProX-C 的 74.92%），且优势不来自简单删除，而来自精细化的实例级程序编辑。

对大模型数据工作的影响

UltraX 代表了预训练数据精炼从”规则过滤”→“LLM 重写”→“程序化编辑”的范式跃迁。此前面壁智能的 ProX 系列仅支持删除和替换，UltraX 补全了插入操作，使数据精炼从”减法”变为”加减法”，这对中文预训练语料等高质量数据稀缺场景意义尤为重大。函数调用范式将 LLM 编辑能力与程序化执行可靠性结合，为万亿 token 级数据精炼提供了可落地的工程路径。

---

MedPMC：从 610 万篇文献策展 1100 万高保真医疗图文对

事件概述

耶鲁大学联合 UIUC、Microsoft Research、Amazon 等机构于 7 月 8 日发布 MedPMC（arXiv:2607.07673），一个自动化、可持续更新的医疗多模态数据策展框架。从 610 万篇 PubMed Central 文献中策展出 1100 万高质量医疗图文对，并在 26 个基准上验证了高保真策展的显著优势。

技术细节

MedPMC 采用五阶段管线：

1. 初始筛选（F1 = 93.2）
2. 多面板图表检测（F1 = 96.5）
3. 多面板图表分离（mAP = 89.8）
4. 标题分离与对齐（F1 = 81.4, ROUGE-L = 85.3）
5. 医疗图表分类（F1 = 96.5）

最关键的发现是质量对比：5 名标注者（含 3 名医学背景）审查发现 MedPMC 图像 95.3% 医学相关，而先前 PMC 衍生数据集仅 19.7%——即此前最大的 2400 万对数据集中 80.3% 的图像是非医学的。

在效果上，MedPMC-CLIP 在 26 个基准 11 个专科上，零样本 AUC 平均提升 7.1 个百分点，且使用的图文对数量不到最强基线的一半。在耶鲁纽黑文健康系统 10524 张真实皮肤科照片中，Recall@5 提升 11.7 个百分点。

对大模型数据工作的影响

MedPMC 是”质量>数量”范式在医疗领域的标志性验证。1100 万对高质量数据击败 2400 万对低质量数据，与 FineWeb-Edu 的 1.3T 高质量 token 超越 15T 原始数据遥相呼应。其五阶段管线设计——特别是多面板分离和标题对齐——为其他专业领域（法律、金融、工程）的高保真数据策展提供了可直接迁移的方法论模板。框架、语料、基准、模型全部开源，为端到端可审计医疗 LLM 训练提供了关键基础设施。

---

高德 Phys AI Data：首个面向物理 AI 训练的一站式空间数据基座

事件概述

阿里巴巴集团旗下高德于 7 月 8 日正式发布 Phys AI Data 数据系统，定位为业内首个面向物理 AI 训练与应用的一站式空间数据基座，由 Phys AI Foundry（数据工厂）和 Phys AI Map（空间记忆大脑）两款核心产品组成。

技术细节

Phys AI Foundry 融合三条数据路径构建三位一体供给引擎：

• 真机采集：沉淀百万量级场景化机器人动作数据集，从 9 万小时数据中清洗出 5 万小时高质量真机数据，并从 2 万小时第一视角人类操作数据中提炼 1 万小时有效数据
• 合成数据：全自动数据合成引擎，批量生成具备长时序、强因果、高互动特征的多模态视频数据
• 仿真重建：基于高德海量时空数据对任意真实场景高保真 1:1 重建

Phys AI Map 打造专属空间语义库，超过 200 类场景元素标注，将地图从坐标升格为可推理的环境模型。基于该数据体系训练的 ABot-M0 在四项主流具身操作基准取得 SOTA，ABot-World 系列世界模型成为全球首个在物理合规性、动作可控性、零样本泛化三大维度均达 SOTA 的模型。

对大模型数据工作的影响

Phys AI Data 标志着物理 AI 训练数据从”各厂商自采自用”走向”基础设施化”的关键转折。此前具身智能领域最大的瓶颈不是模型架构，而是数据采集成本和场景覆盖度。高德的空间数据积累（室内外一体化、POI 语义、车道级高精地图）为物理 AI 提供了天然的数据壁垒，且 Phys AI Data 已通过标准化 API 面向行业开放——这意味着中小型具身智能公司无需再从零采集数据。三条路径融合（真机+合成+仿真）的模式，对其他需要物理世界数据的领域（自动驾驶、数字孪生）具有直接借鉴价值。

---

Selective Left-Shift：将测试时算力左移为训练数据

事件概述

7 月 8 日发布于 arXiv（2607.07748）的 Selective Left-Shift 提出了一种将推理时算力转化为训练数据的方法论，针对低资源编程语言（LRPL）的数据稀缺困境，通过三阶段管线实现了仅用 1/3 数据和 1/6 成本超越先前 SOTA。

技术细节

三阶段管线解耦语法习得与算法推理：

1. 离线数据合成：将迭代式推理时计算（编译器+测试用例反馈的自纠循环）左移为离线数据策展引擎。对每个问题，基础模型生成候选→沙箱执行→失败反馈→迭代修正，直到通过全部测试，产出验证过的训练样本
2. 语法感知 SFT：在合成验证数据上微调，嵌入强语法先验
3. RLVR（GRPO）：以语言无关的 I/O 测试为奖励信号，SFT 先验约束 RL 探索远离语法错误

在 Qwen3-8B 上，Julia 语言 MultiPL-E pass@1 提升 +7.6，Agnostics LiveCodeBench 提升 +14.2。对几乎零预训练表示的 Ballerina 语言，MultiPL-E Pass@1 达 49.7%。消融实验证实 SFT 阶段和执行接地奖励均为稳定训练所必需。

对大模型数据工作的影响

“左移”范式将推理时算力从部署阶段转移到数据准备阶段，是一次训练数据工程的方法论革新。传统路径是”部署时花推理算力→获得更好结果”，Left-Shift 则是”训练前花推理算力→产出更好训练数据→部署时用更少算力”。这一思路对低资源语言、低资源领域的数据瓶颈具有普适价值——不需要大规模人工标注或现有代码语料，只需可验证的 I/O 测试即可自举训练数据。与 DCLM/FineWeb-Edu 的”质量过滤”范式互补，Left-Shift 提供了”质量创造”的新路径。

---

PLURAL：覆盖 92 国价值观的 50 万偏好三元组数据集

事件概述

7 月 9 日发布的 PLURAL（arXiv:2607.08034）是首个基于全球代表性调查的大规模价值观偏好数据集，涵盖 92 个国家的综合价值观调查（IVS），初始版本包含约 50 万偏好三元组，代表 20 个多元国家。

技术细节

PLURAL 采用两阶段生成管线，将调查响应转化为合成偏好三元组：

1. 调查响应→场景生成：保留规范性价值观信号，同时产出逼真场景
2. 场景→偏好三元组：结构化偏好对（chosen/rejected），确保价值观信号可学习

三层验证：

• 数据集级：保留跨国价值观差异和国内多样性
• 自动评估：训练后 MAE 相对强基线降低 27.7%
• 人工盲评：176 名评估者（印度/巴西/日本），PLURAL 对齐的响应被评为更代表本国价值观

对大模型数据工作的影响

PLURAL 解决了后训练数据中长期被忽视的文化多样性问题。当前主流偏好数据集（如 HelpSteer、UltraFeedback）几乎完全反映西方价值观，PLURAL 提供了首个系统化的多文化偏好信号来源。这对全球化部署的 LLM 尤为重要——模型需要在尊重不同文化价值观的前提下进行对齐，而非简单地将西方价值观作为”通用”标准。50 万三元组的规模虽不及主流 SFT 数据集，但其信号质量和文化覆盖度使其成为后训练数据配方中不可替代的组件。随着后续版本扩展至更多国家，PLURAL 有望成为多元对齐训练的标准数据源。