数据工程观察 · Vol.55

数据工程观察 · 2026年05月31日

数据组织范式革新：从数据效能到训练数据平面，数据呈现顺序与混合策略成为大模型训练新焦点

数据工程 数据组织 数据效能 数据平面 数据混合 中训练 开源数据集 影响力数据选择 预训练数据 数据治理

引言

本周数据工程领域呈现出一个清晰的趋势：从”用什么数据”走向”怎么组织数据”。微软提出的数据效能（Data Efficacy）范式正式将”数据出场顺序”提升到与”数据选择”同等重要的地位；ETH Zurich 的 Mixtera 在 SIGMOD 2026 发表了首个面向基础模型训练的声明式数据平面；Meta 的 MobileLLM-R1 证明影响力驱动数据混合可使亚十亿模型以 11.7% 的 token 匹配 Qwen3；面壁智能开源 600B 中文合成预训练语料填补中文数据缺口；而 arXiv 最新论文则系统探索了数据组织对 LLM 训练的影响并提出了新排序方法。这些进展共同指向一个核心命题——数据工程正在从”数据量与质量”的二维博弈，进化到包含”组织方式”的三维优化空间。

微软 DELT 范式：数据效能——训练数据的出场顺序同样重要

事件概述

微软亚洲研究院正式提出数据效能（Data Efficacy）概念，并开源 DELT（Data Efficacy for LM Training）范式框架。与长期关注的”数据效率”（Data Efficiency，即用更少数据达到更好效果）不同，数据效能聚焦于通过优化训练数据的组织方式来最大化模型性能，不改变数据内容也不增加模型规模。论文已开源代码（github.com/microsoft/DELT），并在中文技术社区引发广泛讨论。

技术细节

DELT 范式包含三个核心组件：

  1. 数据评分（Data Scoring）：提出 Learnability-Quality Scoring（LQS），从梯度一致性视角同时评估每个样本的”可学习性”和”质量”。可学习性衡量样本随训练推进降低 loss 的能力，质量则关注梯度方向是否符合全局目标。
  2. 数据选择（Data Selection）：基于评分筛选最优子集，与传统方法一致。
  3. 数据排序（Data Ordering）：提出 Folding Ordering（FO）方法，是课程学习的进化版本。将排序后的数据分成 L 个 fold，每个 fold 均包含高低分样本，避免简单从易到难排序导致的模型遗忘和数据分布偏移。例如原始序列 1,2,3,4,5,6（从易到难）变为 1,4,2,5,3,6，让模型在学习简单内容后穿插接触复杂内容。

实验验证：在 8 个测试任务中平均性能提升 1.65%，1.6 亿到 10 亿参数模型均有效，且可与数据筛选方法叠加使用。

对大模型数据工作的影响

DELT 范式开辟了一个与数据效率互补的新优化维度。对于大模型预训练（通常仅 1 个 epoch），数据呈现顺序的优化空间远未被充分挖掘。这对当前以”随机打乱”为默认策略的预训练流水线提出了挑战——在数据受限场景下，精心组织数据出场顺序可能比简单增加数据量更具性价比。折叠排序方法的提出也启发我们：课程学习的直觉（从易到难）需要修正，周期性穿插不同难度才是更优策略。

Mixtera：首个面向基础模型训练的声明式数据平面（SIGMOD 2026）

事件概述

ETH Zurich 系统组发表于 SIGMOD 2026 的 Mixtera 论文，是首个系统性解决基础模型训练中数据混合管理问题的数据库系统工作。该工作将数据混合从”手工脚本”提升到”声明式查询”的工程化水平，并支持训练过程中基于模型反馈的动态混合调整。

技术细节

Mixtera 的核心设计：

  1. 声明式数据混合：基于 DuckDB 管理训练样本元数据，用户可通过 SQL 式查询声明性地指定数据混合比例和顺序，完全脱离文件系统结构约束。支持跨任意属性（语言、来源数据集等）的混合定义。
  2. Chunk 流式分发：服务器生成固定大小的”块”（chunk），其中存储的是指向样本的指针而非实际内容，避免大规模训练中的数据获取瓶颈。训练节点按需请求 chunk，支持 3D 并行训练。
  3. 动态混合调整：实现了 Adaptive Data Optimization（ADO）算法，可根据模型在每个域上的学习进度动态调整数据组合比例。
  4. 大规模验证：在 256 个 GH200 超级芯片上验证，Mixtera 不构成训练吞吐瓶颈。

对大模型数据工作的影响

Mixtera 填补了基础模型训练基础设施中的关键空白——当前主流训练框架（Megatron-LM, FSDP 等）的数据加载器仍基于文件系统目录采样，无法灵活支持跨属性混合和动态调整。随着数据混合策略的研究日益活跃（DoReMi, ADO, RegMix 等），缺乏统一的工程化执行平台已成为研究到落地的瓶颈。Mixtera 将数据混合问题抽象为数据库查询问题，为数据工程从”脚本驱动”到”系统驱动”的转变提供了基础设施。

MobileLLM-R1：影响力驱动数据混合使亚十亿模型匹配 Qwen3（ICLR 2026）

事件概述

Meta 在 ICLR 2026 发表 MobileLLM-R1，证明通过精心的数据筛选和自适应混合策略，亚十亿参数模型仅需 4.2T token（Qwen3 预训练数据的 11.7%）即可在推理基准上匹配或超越 Qwen3-0.6B。论文完整开源了训练配方、数据来源、混合比例和模型检查点。

技术细节

MobileLLM-R1 的数据工程方法分三个层次：

  1. 能力感知数据筛选（LOO 分析）：训练时每次排除一个数据集，追踪对 Code/Math/Knowledge 三个能力探测集的 NLL 变化，量化每个数据源的跨域影响力。关键发现：FineWeb-Edu 是跨域”胶水”数据集，移除后所有能力均退化；StarCoder 对数学的贡献大于 OpenWebMath 对代码的贡献（颠覆直觉）。
  2. 跨能力影响力数据混合：基于影响力分数计算每个数据源的最优采样权重，利用 AutoMixer 框架高效近似影响力分数 I(xi,xtest;θ)≈−∇L(xtest)⊤H−1∇L(xi)I(x_i, x_{test}; \theta) \approx -\nabla L(x_{test})^\top H^{-1} \nabla L(x_i)，将跨能力和跨训练阶段的贡献聚合为数据集级别权重。
  3. 中训练数据-模型协同进化：每阶段用当前模型计算样本影响力分数，只保留正影响力样本 Dt={xi:I(xi;θt)>0}D_t = \{x_i : I(x_i; \theta_t) > 0\}，同时更新数据集权重。迭代至影响力分数分布收敛（通常 2 阶段）。

结果：MobileLLM-R1-950M 在 AIME 上达 15.5 分（OLMo-2-1.48B 仅 0.6），匹配 Qwen3-0.6B。

对大模型数据工作的影响

MobileLLM-R1 提供了一个端到端的数据工程实践范本——从数据源评估到预训练混合再到中训练迭代优化，每一步都基于可量化的影响力指标而非启发式规则。其中”中训练数据-模型协同进化”的思路尤其值得关注：随着模型能力变化，固定的数据混合不再最优，需要根据当前模型状态动态调整。这对当前业界广泛采用的”固定配比”预训练方案提出了挑战，也为中训练阶段的数据工程提供了可操作的范式。

面壁智能开源 Ultra-FineWeb-L3 与 UltraData-SFT-2605：600B 中文合成预训练语料

事件概述

5 月 29 日，面壁智能联合清华大学、OpenBMB 开源社区发布两大数据集：Ultra-FineWeb-L3（600B+ token 中英文网页合成数据，中文 200B+ token，当前最大开源中文预训练合成数据集）和 UltraData-SFT-2605（国内首次开源的千万级、同时含深思考与非思考标注的 SFT 数据集）。两大数据集均已在 MiniCPM5-1B 训练流程中完整验证，覆盖预训练退火到后训练 SFT 全链路。

技术细节

两大数据集基于面壁智能独创的 L0-L4 五级数据分级治理体系构建：

  • L0（原始数据）→ L1（基础清洗）→ L2（模型精筛）→ L3（合成与增强）→ L4（可编排数据），每级对应明确的处理标准与应用场景。
  • Ultra-FineWeb-L3 属 L3 级，通过合成增强生成高质量中英文网页数据，中文 200B+ token 有效缓解中文高质量预训练数据长期偏少、分布不均的问题。
  • UltraData-SFT-2605 含深思考（Chain-of-Thought）和非思考两类样本，增强模型精准执行指令和分步推理的能力。
  • 实验验证：分级训练相比混合训练平均性能提升 1.49 个百分点，数学领域 UltraData-Math 仅用 100B token 训练量即取得显著成果。
  • 配套开源数据治理工具：单一数据验证、Epoch 搜索、评测去污等组件。

对大模型数据工作的影响

这是中文预训练数据基础设施的重要里程碑。此前开源中文预训练语料规模远落后于英文（英文已有 FineWeb-Edu 1.3T、DCLM 3.8T 等），中文高质量数据缺口严重制约了中文 LLM 的发展。Ultra-FineWeb-L3 的 200B+ 中文合成数据首次将中文开源预训练语料推至百亿级，且经 MiniCPM5-1B 完整训练验证。配套的 L0-L4 分级治理体系和数据治理工具链也为业界提供了可复用的数据工程流水线参考。对端侧模型开发者而言，可直接采用高质量 L3 数据显著降低小参数模型在复杂任务上的落地门槛。

Demystifying Data Organization：系统探索数据组织对 LLM 训练的影响（arXiv:2605.30334）

事件概述

5 月 30 日出现在 arXiv 的最新论文，首次系统性地探索了数据组织方式对 LLM 训练效果的影响，提出了四条优化数据组织的关键准则，并引入两种新的数据排序方法 STR 和 SAW。

技术细节

论文的核心贡献：

  1. 四条数据组织准则：

    • 边界锐化（Boundary Sharpening）：强化不同领域数据之间的边界，减少领域间干扰。
    • 循环调度（Circular Scheduling）：周期性回归已学数据，对抗灾难性遗忘。
    • 课程连续性（Curriculum Continuity）：保持学习难度的渐进连续性，避免难度跳变。
    • 本地多样性（Local Diversity）：在局部训练窗口内保持数据多样性，避免连续同质数据导致的梯度偏移。

  2. 两种新排序方法：

    • STR（Structured Ordering）：基于结构化排序，综合应用上述四条准则。
    • SAW（Sawtooth Ordering）：锯齿形排序，交替穿插不同类型和难度的数据。

  3. 实验验证了数据组织对模型性能的显著影响，在多种设置下新方法均优于随机打乱基线。

对大模型数据工作的影响

这篇论文与微软 DELT 范式形成呼应——两者都指向”数据出场顺序”这一被长期忽视的优化维度。但本论文从更细粒度的实验分析出发，提出的四条准则更具操作性，可直接指导预训练数据工程实践。特别值得注意的是”本地多样性”准则：当前主流做法是将同类型数据打包（packing）以减少 padding，但这可能导致局部训练窗口内数据同质化，损害梯度多样性。如何在打包效率和训练效果之间取得平衡，是预训练数据工程需要面对的新课题。结合 DELT 的 Folding Ordering 和本论文的 STR/SAW 方法，数据排序正在从”工程细节”上升为”研究课题”。

本期小结

本期五条动态围绕一个共同主题展开：数据组织方式的优化正在成为大模型训练的新前沿。

维度代表工作核心主张
数据排序DELT, STR/SAW数据出场顺序与数据内容同等重要
数据混合Mixtera, MobileLLM-R1声明式混合 + 影响力驱动的动态调整
数据供给Ultra-FineWeb-L3中文开源预训练语料突破 600B token

数据工程正在从”选什么数据”走向”怎么组织数据”——排序、混合、调度策略的精细化，可能成为下一个训练效率数量级提升的来源。对于数据工程从业者而言，这意味着数据工作不再止步于”清洗完成”，数据呈现方式和训练时序的优化同样是核心竞争力。