数据工程观察 · 2026年07月07日

引言

ICML 2026 正会于今日在首尔 COEX 开幕，数据工程方向迎来论文集中展示日：MixtureVitae（合规语料 422B token）、InfoLaw（信息缩放定律）、DeMix（22T token 模型融合数据混合）等此前 arXiv 预印本上的重磅成果均在正会首日亮相。与此同时，何恺明团队的 GeoPT 以”合成动力学”思路打通几何预训练到物理仿真的桥梁，Google Simula 在 Journal Track 展示推理驱动的合成数据机制设计框架，美团 LongCat-2.0 以 30T tokens 国产算力预训练实现开源，AgenticDataBench 则将数据智能体评测从”任务分数”推进到”技能诊断”。本期聚焦 ICML 首日与近期数据工程进展。

---

ICML 2026 正会首日：数据工程论文集中展示

事件概述

ICML 2026 正会于 7 月 7 日在首尔 COEX 会议中心正式开幕，此前在 arXiv 引发广泛讨论的多篇数据工程核心论文集中亮相主会议海报/口头报告环节，包括 MixtureVitae（422B token 许可优先预训练语料）、InfoLaw（数据感知信息缩放定律）、DeMix（22T token 模型融合解耦数据混合搜索）、“Curated Synthetic Data Doesn’t Have to Collapse”（合成数据崩溃修正）等。Google 展台亦在首日安排了”Model and Input Selection at Search Scale”Q&A 环节。

技术细节

• MixtureVitae（Poster，7月9日展示）：许可优先 + 三级风险分层 + 大比例合成推理/指令数据，1.7B/300B token 即匹配 FineWeb-Edu 并逼近 DCLM，MMLU/数学/代码全面超越非许可数据集
• InfoLaw（口头报告）：数据感知信息缩放定律，建模质量→信息密度 + 重复→边际递减，7B/425B token 规模预测误差 0.15%
• DeMix（海报）：22T token 模型融合解耦数据混合搜索，无需逐源训练即可搜索最优配比
• 合成数据崩溃修正（ICML 2026 录用）：多元偏好策展避免重训练崩溃，极限分布满足加权纳什议价解

对大模型数据工作的影响

ICML 2026 正会首日是数据工程方向论文密度最高的一天。合规语料（MixtureVitae）、缩放定律（InfoLaw）、数据混合搜索（DeMix）和合成数据可靠性（崩溃修正）四个核心议题的同场展示，标志着数据工程已从”经验驱动”进入”理论+工程双轮驱动”阶段，对训练数据从业者而言，这些论文提供了可操作的框架而非仅是直觉。

---

GeoPT：合成动力学预训练打通几何到物理的数据鸿沟

事件概述

何恺明团队（MIT/Caltech/清华）的 GeoPT 论文在 ICML 2026 正会首日（7月7日）以海报形式展示。该工作提出”Lifted Geometric Pre-Training”，通过为静态几何注入合成动力学信息，实现了无需物理求解器标注的大规模预训练，下游物理仿真任务减少 20-60% 标注数据需求，收敛加速 2 倍。

技术细节

• 核心思想：纯几何预训练会导致负迁移（如将车前车后归为同一状态），因为静态几何忽略了动力学方向性。GeoPT 将预训练从几何空间 G “提升”到几何-动力学联合空间 (G, V)
• 合成动力学生成：在几何体周围随机撒布粒子并赋予随机速度向量，粒子碰表面即停止，记录轨迹提取向量距离场（VDF）特征，监督信号计算仅需约 0.2 秒/样本，比工业 CFD 快 10^7 倍
• 预训练规模：ShapeNet-V1 工业相关子集（汽车/飞机/船舶 1 万+形状），每几何采样 100 组随机速度场，总计 134 万预训练样本（约 5TB 数据），3 天完成全部预计算
• 下游效果：DrivAerML/NASA-CRM/Aircraft/DTCHull/Car-Crash 五基准全面超越从头训练，40-80 个样本即接近全数据（100 个）训练性能

对大模型数据工作的影响

GeoPT 代表了一种新范式：用”合成中间表示”替代昂贵标注来桥接预训练与下游任务的数据鸿沟。其方法论启示超越物理仿真——任何”静态数据充足但动态标注稀缺”的领域（如代码执行轨迹、GUI 交互序列）均可借鉴”提升”思路，通过合成动力学信息构建预训练数据。对 LLM 数据工程而言，这与”合成预训练数据”浪潮形成方法论呼应：不是合成目标域数据，而是合成桥接域数据。

---

美团 LongCat-2.0 开源：30T tokens 国产算力预训练里程碑

事件概述

7 月 6 日，美团正式开源 LongCat-2.0 模型权重、推理引擎与核心技术文档。华为昇腾、摩尔线程、沐曦等国产芯片厂商同日宣布完成推理适配。LongCat-2.0 是业界首个完全依靠国产算力（五万卡集群）完成训练和推理全流程的万亿参数大模型，预训练数据规模超过 30T tokens。

技术细节

• 架构：1.6T 总参 MoE，平均激活 48B，动态范围 33B-56B，自研零计算专家调度机制
• 预训练数据：超过 30T tokens，覆盖中文、英文、多语言和代码等多类数据
• 上下文：原生支持 1M 超长上下文窗口
• 工程突破：从零开始就在国产算力上预训练（非”英伟达训完再迁”），三年从千卡扩展到五万卡，攻克算子适配、通信优化、分布式稳定性等难题
• 市场验证：预览版已跻身 OpenRouter 全球调用量前三，成为最受 Agent 开发者欢迎的模型之一

对大模型数据工作的影响

LongCat-2.0 的数据工程意义在于两点：一是 30T tokens 的预训练数据规模验证了国产算力下的数据工程流水线可行性；二是”零计算专家调度”机制意味着不同复杂度 token 的数据配比策略需要重新设计——简单 token 消耗更少算力、复杂 token 自动扩容，这要求训练数据调度系统能感知 token 级复杂度并动态调整。“国芯国模”模式也为国内数据工程团队提供了从数据策展到训练部署的全栈参考。

---

AgenticDataBench：数据智能体评测从任务分数走向技能诊断

事件概述

清华 + 蚂蚁集团联合发布 AgenticDataBench（arXiv:2607.01647），首个面向 LLM 数据智能体的综合评测基准，覆盖 15 个垂直领域含 5 个真实 B2B 金融案例，引入”数据科学技能”概念实现细粒度评测。已评测 Qwen3.5-397B-A17B、Kimi-K2.5、Claude Sonnet 4.6 等模型。

技术细节

• 技能提取：从 Stack Overflow 大规模任务解决方案中提取数据科学技能（schema 检查、join、清洗、可视化、业务推理等），通过技能对齐层次聚类量化覆盖度
• 任务构造：真实任务（头部金融科技公司 B2B 用例）+ LLM 生成合成任务（为缺乏真实数据的领域补全），技能组合多样性最大化选取
• 评测粒度：不只给出总体准确率，而是提供技能级诊断——模型在清洗上稳定但在多表推理上失败？失败来自模型还是 harness？靠高 token 探索勉强做对还是低成本稳定完成？
• 开源：GitHub 测试床 + HuggingFace 数据集，Apache-2.0 许可，98 个任务作为私有测试集保留

对大模型数据工作的影响

AgenticDataBench 的方法论启示在于”技能级评测”思想。传统数据工程评测以”整体 benchmark 分数”为导向，但实际训练数据工作流是技能组合——数据策展、去重、质量过滤、混合搜索等是独立技能。将评测粒度细化到技能级别，可以精准定位”哪些数据工程环节需要改进”而非”整体训练效果好不好”。对数据智能体开发者而言，这是从 demo 走向生产的必要条件。

---

Google Simula：推理驱动合成数据机制设计

事件概述

Google Research 的 Simula 框架在 ICML 2026 Journal Track 以海报形式展示（7月7日，HALL A）。Simula 将合成数据生成重新定义为”机制设计”问题，采用 seedless、agentic 方法，通过推理模型从第一性原理构建数据集，而非传统的样本级提示工程。

技术细节

• 四阶段管线：
  1. Global Diversification：推理模型映射目标域概念空间为层次分类法，捕捉长尾边缘案例
  2. Local Diversification：1-of-N 元提示实例化不同场景，防止模式坍缩
  3. Complexification（可选）：根据训练环境需求缩放难度和细节
  4. Dual Critic Loop：双评估器质量检查，验证语义和结构约束
• 核心特性：seedless（无需种子数据）、可编程（数据如版本化代码）、可解释（机制设计替代黑盒进化算法）、自进化（生成质量随底层推理模型能力自动提升）
• 实验效果：Complexification 步骤在 GSM8K 上提升数学推理准确率 10%；但需注意教师模型弱时高复杂度生成可能降低训练信号质量
• 发表：Transactions on Machine Learning Research，“Reasoning-Driven Synthetic Data Generation and Evaluation”

对大模型数据工作的影响

Simula 的方法论贡献在于将合成数据从”提示工程”提升到”数据架构设计”。传统的 Evol-Instruct/Magpie/Self-Instruct 本质上是样本级操作，而 Simula 是数据集级操作——先设计数据集的”骨架”（分类法+难度曲线+质量约束），再批量填充内容。这种”机制设计”视角与本期 ICML 首日展示的 CausalMix（因果推断数据混合）、HERMES（多粒度标注基底）形成方法论共鸣：数据工程的下一个阶段不是”生成更多数据”，而是”设计更好的数据生成机制”。