数据工程观察 · Vol.71

数据工程观察 · 2026年07月06日

ICML 2026 开幕日数据工程论文专场、蚂蚁万亿模型中训练数据工程实践、多学科视觉数据策展管线、质量感知数据调度最优理论与昇腾原生轻量数据质量分类器

数据工程 中训练 ICML 2026 数据策展 数据质量 数据调度 合成数据 预训练语料 Agentic数据 缩放定律

引言

ICML 2026 今日在首尔开幕，数据工程正从”幕后支撑”走向”台前主角”——从主会场 Poster 到 Workshop，训练数据的选择、混合、调度与溯源占据了前所未有的版图。本期聚焦 ICML 开幕日数据工程亮点，并追踪蚂蚁 Ling-2.6 万亿模型中训练数据工程实践、上交大 DisciplineGen-1M 多学科视觉策展管线、质量感知 DSR 中训练配方理论以及昇腾原生 DataDecide-16M 轻量质量分类器——四条线索分别指向数据工程的”规模化落地""多模态策展""理论指导”和”端侧工具”四个前沿方向。

ICML 2026 开幕：数据工程从辅助走向核心议题

事件概述

ICML 2026 于 7 月 6 日在首尔 COEX 会展中心开幕。与往年不同，今年数据工程相关论文在主会场和 Workshop 中占比显著提升：从预训练数据混合、合成数据缩放定律到训练数据溯源，多条主线均设有专题 Poster 或 Oral。MixtureVitae（422B token 合规预训练语料）、InfoLaw（信息缩放定律）、DeMix Corpora（22T token 模型融合数据混合）以及”Curated Synthetic Data Doesn’t Have to Collapse”（合成数据崩溃修正）等重量级数据工程论文将在主会期间集中展示。

技术细节

  • MixtureVitae（Poster Jul 9）：许可优先（permissive-first）422B token 预训练语料，三级风险分层 + shard 级溯源元数据，1.7B 模型以 36× 更少 token 匹配 smolLM2-Instruct
  • InfoLaw（Poster Jul 8）：数据感知信息缩放定律，建模质量→信息密度 + 重复→边际递减，7B/425B token 规模预测误差 0.15%
  • DeMix Corpora（ICML 2026）：22T token 模型融合解耦数据混合搜索，避免显式混合权重网格搜索
  • 合成数据崩溃修正（ICML 2026）：多元偏好策展避免合成数据重训练崩溃，极限分布满足加权纳什议价解
  • Workshop 方向：AdaptFM（模型适应与数据效率）、Mechanistic Interpretability（可解释性与数据归因）等 Workshop 均设数据工程专题

对大模型数据工作的影响

ICML 2026 的信号清晰：数据工程不再是模型训练的”后勤保障”，而是决定模型能力的”一级变量”。合规语料（MixtureVitae）、缩放定律可预测性（InfoLaw）、数据混合搜索效率（DeMix）和合成数据可靠性（崩溃修正）四大主题，分别回应了 2026 年数据工程的核心焦虑——许可风险、算力预算不确定性、混合搜索成本和合成数据信任度。对从业者而言，这些论文提供了从”经验驱动”转向”理论指导”的数据工程工具箱。

蚂蚁 Ling-2.6 技术报告：万亿模型中训练数据工程全流程公开

事件概述

蚂蚁 Inclusion AI 发布 Ling & Ring 2.6 技术报告（arXiv:2606.15079），系统公开万亿参数模型 Ling-2.6-1T 在预训练、中训练和后训练各阶段的数据工程实践。报告最值得关注的部分是中训练（Mid-Training）阶段：1.2T token 上下文扩展语料的构建与配比策略，以及覆盖 500+ 真实 MCP 环境的 Agentic Corpus 设计，为 Agent 原生模型的数据工程提供了工业级参考。

技术细节

  • 三阶段预训练：迁移预训练（400B token，GQA→混合线性注意力架构迁移）→ 继续预训练（8T token，4K 上下文）→ 中训练（1.2T token，4K→32K→256K 渐进扩展）
  • 中训练数据构成：重点增强数学、代码、Agentic Data、长上下文语料和多语言语料
  • Agentic Corpus：覆盖 500+ 真实 MCP 环境、3000+ 工具，包含 coding、bash、web QA 和软件仓库任务的结构化轨迹
  • Long-Context Corpus：覆盖数学、复杂网页解析、长文档摘要、RAG 融合和多跳推理任务
  • 后训练数据策略：专家驱动训练路线——cold-start SFT 打底 → 推理/Agent 专家化训练 → RL 优化 → 能力蒸馏回统一模型
  • Ring-2.6 特有：KPop 算法（对称二元 KL 散度替代固定比例约束）+ 异步 RL（rollout 采集与参数更新解耦）

对大模型数据工作的影响

Ling-2.6 的数据工程实践揭示了 2026 年万亿参数模型训练的关键趋势：中训练正在从”简单上下文扩展”演变为”能力注入核心阶段”。1.2T token 的中训练语料不仅是长度的延伸，更是数学、代码和 Agent 能力的密集注入窗口。Agentic Corpus 的 500+ MCP 环境 + 3000+ 工具设计，标志着智能体训练数据从”模拟交互”走向”真实环境轨迹”。对国内大模型团队而言，这份技术报告提供了可复现的中训练数据工程蓝图——尤其是在 Agentic 数据构建和上下文渐进扩展两个维度上。

DisciplineGen-1M：多学科视觉数据策展管线方法论

事件概述

上海交通大学、华南理工大学和中国科学技术大学联合发布 DisciplineGen-1M（arXiv:2607.02290），一个 120 万样本跨 10 学科的视觉生成与编辑数据集，并设计了结合矢量图渲染、OCR 编辑、程序合成及大规模文本-图像筛选的可扩展策展框架。虽然数据集面向视觉生成而非 LLM 预训练，但其数据策展管线方法论对训练数据工程具有跨模态借鉴价值。

技术细节

  • 数据规模：1.2M 样本，覆盖数学、物理、化学、生物、地理、计算机科学、经济学、历史、音乐和体育 10 个学科
  • 四管线策展框架：
    1. 矢量图渲染（SVG/TikZ→栅格化）：保留符号结构与空间关系真值
    2. OCR 编辑：基于 OCR 检测的定向编辑指令生成，控制语义差异
    3. 程序化合成：学科特定渲染器（数学公式、化学分子式、物理图示等）
    4. 大规模 T2I 筛选：从已有生成模型输出中筛选学科正确性样本
  • 统一标注格式：条件图像 + 目标图像 + 编辑指令 + 结构化标注 + 生成标记
  • 指令多样化：语义等价模板重写，增加语言多样性而不改变视觉监督
  • 领域推理生成模型：基于 Qwen3-VL-8B 推理模块 + DiT LoRA 微调

对大模型数据工作的影响

DisciplineGen-1M 的核心贡献不是数据集本身，而是其“知识密集型”数据的策展方法论。传统视觉数据策展关注美学质量，而 DisciplineGen 关注的是”学科正确性”——图像中的公式、分子式、物理图示是否在知识层面正确。这一范式对 LLM 训练数据工程的启示是：数据质量评估应从”可读性”升级为”可验证性”，特别是在数学、代码等结构化领域。四管线策展框架的模块化设计（渲染→编辑→合成→筛选）也可迁移到文本数据的策展流程中。

质量感知 DSR 配方：高质量数据何时喂给 LLM 的理论回答

事件概述

论文”How Should LLMs Consume High-Quality Data?”（arXiv:2605.25698）将数据质量维度引入功能缩放定律（Functional Scaling Law），以渐近闭式解导出了数据质量与批大小的联合最优调度策略，并提出 Drop-Stable-Rampup（DSR）中训练配方。在 15B MoE 模型 108B token 中训练实验中，DSR 相比 WSD 和 Cosine-decay 分别取得 +1.70 和 +2.98 的平均准确率提升。

技术细节

  • 质量感知功能缩放定律：将功能缩放定律中的固定噪声方差 σ² 替换为时变有效方差 σ²_eff(t)，由数据质量调度 p(t) 耦合进损失动力学
  • 两种区域：
    • 噪声受限区（s > s_crit）：高质量数据作为”信号放大器”——降低批大小将更干净的数据转化为更多优化步，不放大噪声注入率
    • 信号受限区（s < s_crit）：高质量数据作为”噪声抑制器”——放在训练末段降低终态噪声
  • DSR 配方：质量切换时降低批大小（Drop）→ 稳定积累信号（Stable）→ 末段拉升批大小抑制累积噪声（Rampup）
  • 实验验证：15B MoE / 108B token 中训练，GSM8K +4.23、MATH +2.80，平均 +1.70（vs WSD）/ +2.98（vs Cosine）

对大模型数据工作的影响

DSR 配方回应了一个长期被忽视的矛盾：课程学习直觉将最好数据放在训练后期，但传统学习率衰减恰好在该阶段降低了模型的学习强度。论文从理论上证明，高质量数据的”双重角色”（信号放大 vs 噪声抑制）取决于训练动力学所处区域，不能一刀切地”晚放好数据”。对中训练实践而言，DSR 提供了可操作的三段式配方，且理论预测与实验高度吻合（功率律指数拟合误差 <0.01）。这一工作将数据调度从”经验规则”提升为”可推导最优策略”。

DataDecide-16M：昇腾原生轻量数据质量分类器

事件概述

Allen AI 的 DataDecide-falcon-and-cc-16M 模型近日在华为昇腾 Modelers.cn 平台上线，提供针对海量原始文本的质量评分与过滤能力。作为仅 16M 参数的专用分类器，它在 fp16 精度下实现超高吞吐预处理，支持 PB 级原始文本在进入训练流水线之前的质量筛选，直接回应了数据清洗算力瓶颈问题。

技术细节

  • 参数规模：16M 参数，fp16 推理，面向华为昇腾 NPU 优化
  • 评分方法：基于与 Falcon / Common Crawl 高质量基准的相似度评分，量化文本质量等级
  • 开源许可：Apache-2.0，支持商业和研究使用
  • 平台集成：已在昇腾 Modelers.cn 平台托管，支持直接 git clone 下载
  • 定位：单一用途工具——数据策展与质量过滤，不适用于推理或生成任务

对大模型数据工作的影响

DataDecide-16M 的价值在于将数据质量过滤的计算成本从”模型级”降到”分类器级”。16M 参数的轻量设计意味着可在数据预处理阶段以极低成本对 PB 级原始文本进行质量评分，而不需要调用大模型做困惑度过滤。昇腾原生优化进一步降低了国内 AI 团队的数据策展门槛——在国产算力生态中，数据预处理工具链的完善是端到端训练流水线的关键缺失环节。该模型的局限同样明显：16M 参数无法捕捉复杂的语义质量信号，且仅在 Falcon/CC 基准上训练，对中文和专业领域数据的泛化性有待验证。

本期小结

本期五条动态勾勒出 2026 年 7 月数据工程的四个前沿方向：

  1. 规模化落地（ICML 2026 / 蚂蚁 Ling-2.6）：从学术理论到万亿参数工业实践，数据工程正在成为模型能力的决定性变量
  2. 多模态策展（DisciplineGen-1M）：从”可读性”到”可验证性”，知识密集型数据的策展方法论正在跨模态迁移
  3. 理论指导（DSR 配方）：高质量数据的”双重角色”理论为数据调度提供了可推导的最优策略
  4. 端侧工具（DataDecide-16M）：轻量级质量分类器降低了数据策展的计算门槛，国产算力生态的数据工具链正在补齐

四条线索的共同指向是：数据工程正在从”手工配方”走向”理论驱动的系统工程”——而 ICML 2026 的集中展示，标志着这一转型已获学术主流量可。