数据工程观察 · Vol.30

数据工程观察 · 2026年05月04日

本期聚焦：许可优先的预训练语料构建、AI 自主演化数据治理、多模态 SFT 数据质量全栈方案、多维度数据标注范式、以及行级数据清洗新管线

数据工程 预训练数据 数据治理 合成数据 数据标注 数据清洗 多模态数据 数据质量 许可合规 开源数据集

引言

数据工程正从”有数据用”走向”用好数据”。本期我们观察到五个值得关注的动向：MixtureVitae 以许可优先策略构建 422B token 预训练语料，试图在合规与性能之间找到平衡；DataEvolve 让 AI 自主演化数据治理策略，在 MMLU 上提升 18.64 分；腾讯混元与清华联手推出 Bee 项目，以 1500 万双层 CoT 样本刷新全开源 MLLM 记录；Propella-1 用 18 维属性标注替代单一质量分，释放数据筛选的灵活性与可解释性；FLUX 则用行级清洗打破 token 保留率与质量之间的长期权衡。从数据来源合规化、治理自动化，到标注多维化与清洗精细化，数据工程的基础设施正在全方位升级。

MixtureVitae：许可优先的 422B Token 开放预训练语料

事件概述

由 Ontocord 团队构建的 MixtureVitae 数据集近期被 ICLR 2026 Data-FM Workshop 接收。这是一个 422B token 的开放预训练语料库，核心目标是回答一个关键问题：能否在不依赖法律灰色地带的网络爬取数据的情况下，训练出有竞争力的大语言模型？答案是肯定的。

技术细节

MixtureVitae 采用了”许可优先、风险缓释”的数据来源策略，将数据分为两个层级：

  • 核心层：严格采用 CC-BY、Apache 2.0、公共领域等宽松许可数据
  • 扩展层：谨慎纳入政府文件、欧盟 TDM 合格来源等低风险数据

在数据合成方面，团队使用了分级合成策略，对合成数据按质量与风险分层融入。基于该语料训练的 1.7B 基座模型在 GSM8K、HumanEval、MBPP 等基准上匹配甚至超越 SmolLM2-1.7B-Instruct，使用数据量仅为 1/36。

对大模型数据工作的影响

MixtureVitae 为预训练数据的合规化提供了一个可行范本。随着全球版权诉讼频发，如何在法律安全的前提下维持模型性能是所有训练团队的刚需。该工作证明，许可优先策略不必以牺牲性能为代价，关键在于精细化的数据来源分层与合成数据质量控制。这对于企业级大模型训练的数据合规策略有直接参考价值。

DataEvolve：AI 自主演化预训练数据治理策略

事件概述

arXiv 论文”Data Darwinism Part II: DataEvolve”提出了 DataEvolve 框架，将预训练数据治理从人工经验驱动转变为 AI 自主演化的自动化系统。基于该框架构建的 Darwin-CC 语料库，在 3B 模型、500B token 的训练规模下，平均得分 44.13，超过 DCLM（42.42）、Ultra-FineWeb（36.29）和 FineWeb-Edu（36.52）等主流语料库。

技术细节

DataEvolve 的核心是一个闭环演化系统，包含四个阶段：

  1. 数据观察：分析原始数据中的质量问题模式
  2. 策略生成：基于观察结果自动生成清洗策略
  3. 策略执行：在数据上执行策略并产出清洗后语料
  4. 诊断反馈：通过训练诊断评估策略效果，将经验积累至经验池和策略池

最关键的发现是：演化出的最优策略集中于”清理型”方法——去除 HTML 标签、导航菜单、广告等网络伪影，规范化格式，并应用领域感知的内容保留规则（如 STEM 策略保留 LaTeX 方程式，医学策略保留临床术语），而非将网络文本改写为理想化格式。优化策略比次优策略高出 2.93 分，验证了迭代演化的必要性。

对大模型数据工作的影响

DataEvolve 代表了数据治理范式的根本性转变。传统上，数据清洗规则依赖专家经验制定，耗时且难以覆盖所有领域。DataEvolve 证明了 AI 可以自主发现并优化领域专用的数据治理策略，尤其是在知识密集型任务上（MMLU +18.64，MedQA +13.48）提升显著。对于包含数百个异构类别的现代预训练语料库，这种自动化策略发现机制可大幅降低人力成本，同时提升数据治理的精细度。

Bee 项目：1500 万双层 CoT 多模态 SFT 数据刷新全开源 MLLM 记录

事件概述

清华大学与腾讯混元团队联合推出 Bee 项目，这是一个以数据质量为核心的全栈开源多模态大模型方案。其核心产物 Honey-Data-15M 是一个约 1500 万样本的高质量 SFT 数据集，采用双层 CoT（思维链）策略进行数据增强。基于该数据集训练的 Bee-8B 模型在多项基准上刷新了全开源 MLLM 的 SOTA 纪录。

技术细节

HoneyPipe 数据整理管线包含三大阶段：

  1. 聚合与去重：从多样化来源收集约 2400 万图文对，执行严格去重
  2. 噪声与无关性过滤：使用规则和模型双重算子，清除格式问题、低质量图像或不匹配样本
  3. 双层 CoT 增强：
    • 短 CoT（约 1220 万样本）：使用 Qwen2.5-VL-72B/32B 生成逐步解释，培养基础逻辑推理
    • 长 CoT（约 270 万样本）：利用顶级专有 MLLM 生成深度多步解决方案
  4. 保真度验证：使用验证器模型进行语义比较，确保 CoT 响应的正确性

Bee-8B 在 MathVerse（67.0）和 CharXiv-RQ（57.3，超第二名近 12%）等推理基准上表现突出，同时开源了 HoneyPipe 管线与 DataStudio 可视化框架。

对大模型数据工作的影响

Bee 项目证明了一个关键洞察：在多模态 SFT 阶段，数据质量的系统性提升远比数据量的堆叠更有效。双层 CoT 策略的分层设计——短链夯实基础、长链突破复杂——为 SFT 数据构建提供了清晰的工程范式。HoneyPipe 与 DataStudio 的开源更是超越了传统”发布静态数据集”的模式，使数据处理方法论可复现、可迁移，这对整个社区的数据工程实践有深远影响。

Propella-1：18 维属性标注替代单一质量分

事件概述

ellamind 团队发布 Propella-1，一系列小型多语言 LLM（0.6B/1.7B/4B），专门用于对文本文档进行 18 维属性标注，覆盖 FineWeb-2、FinePDFs、HPLT 3.0 和 Nemotron-CC 等主流预训练语料库。该工作解决了自 FineWeb-Edu 以来数据治理过度依赖单一质量分的根本性问题。

技术细节

Propella-1 的 18 个属性被归为六大类别：

  • 核心内容：文档主题、语言等
  • 分类：内容类型与领域
  • 质量与价值：信息密度、教育价值等
  • 受众与目的：目标读者与写作意图
  • 安全与合规性：有害内容、PII 等
  • 地理相关性：地域关联度

所有模型支持 57 种语言，输出符合预定义 schema 的结构化 JSON 标注。4B 版本在一致性上优于许多更大规模的通用模型。团队同步发布了 Propella-Annotations 数据集，包含超过 30 亿条文档标注。利用这些标注，可以对预训练数据集进行多维组合分析，揭示单一质量分无法捕捉的深层特征。

对大模型数据工作的影响

单一质量分是当前预训练数据筛选的主要范式，但它将多个质量维度压缩为一个标量，牺牲了灵活性和可解释性。Propella-1 的多维标注范式使得数据筛选可以从”分数阈值”进化为”多维条件组合”，例如”选择教育价值高且无 PII 的 STEM 英文文档”。这种精细化的数据筛选能力，对于需要领域定制化训练数据的团队尤其重要。30 亿条标注的开源更是为整个社区提供了前所未有的数据洞察基础设施。

FLUX：行级清洗打破 token 保留率与质量的长期权衡

事件概述

arXiv 论文”FLUX: Data Worth Training On”提出了 FLUX 预处理管线，专门解决 LLM 训练数据中长期存在的”保留率 vs. 质量”权衡问题——要么为提高质量大量丢弃 token，要么保留大量数据但引入噪声。FLUX 通过行级清洗策略证明了高保留率与高质量可以同时实现。

技术细节

FLUX 的核心创新在于将清洗粒度从文档级下推到行级：

  • 传统做法：发现文档中存在噪声行时，直接丢弃整个文档，导致大量有效 token 被误伤
  • FLUX 做法：优先在文档内部执行行级内容剔除，仅移除问题行而保留文档中其余高质量内容

具体流程包括：

  1. 多阶段质量评估，识别文档内的噪声行
  2. 行级精确剔除，而非文档级整体拒绝
  3. 保留率最大化同时维持严格的质量过滤标准

实验表明，FLUX 在达到相同聚合评分的同时，显著提高了 token 保留率，意味着更多有效数据被用于训练。

对大模型数据工作的影响

“保留率 vs. 质量”的权衡是预训练数据工程中最基础的工程难题之一。在万亿 token 规模下，哪怕 1% 的保留率提升也意味着数百亿有效 token 的回收。FLUX 的行级清洗思路看似简单，但其工程意义深远：它挑战了”质量优先就必须大量丢弃”的传统假设，为数据预处理管线的设计提供了新思路。结合 DataEvolve 的自动化策略发现和 Propella-1 的多维标注，行级清洗可以进一步精细化——基于不同属性标签决定行级保留策略，实现真正的”精准清洗”。