数据工程观察 · 2026年05月19日

引言

本期聚焦数据选择的图论新范式、跨训练阶段的统一数据混合方法、合规预训练语料的全球化扩展、SFT 数据配方搜索的自动化，以及中国垂直领域价值语料生态建设。数据选择从逐样本评分走向结构化图优化，数据混合从单一阶段优化迈向全生命周期在线决策，合规语料从欧美扩展至亚非拉——数据工程的方法论边界正在系统性拓宽。

---

SEED：基于加权独立集的靶向数据选择

事件概述

Yuan Zhang 等人提出 SEED（arXiv:2605.15691），将数据选择问题形式化为相似图上的加权独立集（Weighted Independent Set, WIS），同时发布 Honeybee-Remake-SEED-200K 多模态精选数据集。

技术细节

SEED 在相似图上建模数据选择：节点为数据样本（按影响力加权），边连接语义冗余对。朴素 WIS 存在两个失效模式——节点权重无法区分信息信号与梯度噪声、异构域分布下边构建产生结构失衡图。SEED 引入两项原则性修正：(1) 节点值校准——将影响力估计限制在双边显著子空间，使节点重要性锚定于任务相关信号而非表面统计量；(2) 局部尺度归一化——自适应边阈值到局部邻域密度，缓解跨域分布偏移引起的图失衡。同时通过代理驱动选择将 GPU 成本降低 2.5 倍。

对大模型数据工作的影响

SEED 将数据选择从逐样本标量评分推进到图结构优化范式，统一了质量与多样性两个目标。其跨模型族（指令微调、视觉指令微调、语义分割）一致有效的实验结果表明，图论方法有望成为数据选择的新基线框架。Honeybee-Remake-SEED-200K 也为多模态数据策展提供了高质量参考配方。

---

OP-Mix：全生命周期统一数据混合

事件概述

Michael Y. Hu 等人（NYU/Cho, Linzen, Sharma）提出 OP-Mix（On-Policy Mix，arXiv:2605.15220），首个跨越预训练、持续中训练和持续指令微调全生命周期的统一数据混合算法。

技术细节

OP-Mix 的核心洞察：候选数据混合方案可通过在当前模型上训练的低秩适配器（LoRA）间插值来低成本模拟，无需单独的代理模型，且搜索始终锚定于模型真实学习动态。实验涵盖三大阶段：(1) 预训练中平均困惑度改善 6.3%；(2) 持续学习中以 66% 和 95% 更少的算力分别匹配重新训练和在线蒸馏的性能；(3) 持续指令微调同样有效。OP-Mix 提出了一种全新的训练视角——语言模型训练不是一系列离散阶段的序列，而是一个从数据中持续学习的统一过程。

对大模型数据工作的影响

现有数据混合方法各管一段（DoReMi/DoGE 管预训练，Olmix 管预训练混合复用），OP-Mix 首次将数据混合上升为贯穿训练全过程的在线决策问题。其对中训练阶段的覆盖尤其关键——中训练作为预训练和后训练之间的桥梁，其数据混合策略此前几乎没有系统性方法。LoRA 插值模拟的思路也为在线数据混合提供了远比代理模型更高效的计算范式。

---

Common Corpus v2.5：2.27T Token 合规预训练语料全球化

事件概述

Pleias 发布 Common Corpus v2.5（arXiv:2506.01732v3），将 2.27 万亿 token 的合规预训练语料扩展至全球覆盖，新增中文、日语、阿拉伯语、韩语、印地语等大规模语料。该论文获 ICLR 2026 Oral 接收。

技术细节

Common Corpus 由六大策展集合构成：OpenCulture（967B token，公共领域书籍与报纸）、OpenGovernment（579B token，法律与行政文档）、OpenSource（283B token，GitHub 高质量代码，ArmoRM 质量过滤 Top 80%）、OpenScience（281B token，OpenAlex 学术内容，VLM 保留文档结构）、OpenWeb（89B token，Wikipedia/YouTube Commons/Stack Exchange）、OpenSemantic（68B token，Wikidata 语义三元组自然语言转录，覆盖 300+ 语言）。v2.5 新增 270B+ token，其中 53% 来自非西方国家，涵盖中国、日本、韩国、巴西、印度、非洲和东南亚。每个文档均附来源与许可信息，满足欧盟 AI 法案数据透明度要求。

对大模型数据工作的影响

Common Corpus 用 2.27T token 的实证数据回答了”合规语料能否训出强模型”这一根本问题——其训练的小模型性能与同规模模型持平。更重要的是，v2.5 的全球化扩展破解了合规语料的”欧美中心”困局。论文提出的”开放数据悖论”洞察深刻：多数开放许可内容并未被纳入标准预训练混合——FineWeb 与 Common Corpus 的交集不足 2%，意味着合规化不是”移除版权数据”，而是”新增被遗漏的开放数据”。在合成数据时代，具有清晰来源的高质量种子数据反而更具价值。

---

AutoSelection：从逐样本选择到数据配方搜索

事件概述

Haodong Wu 等人提出 AutoSelection（arXiv:2605.12944），将 SFT 数据选择从逐实例排序重新定义为”固定池数据配方搜索”，即发现由过滤、混合、去重算子组成的最优可执行配方。

技术细节

AutoSelection 采用双层求解器架构：(1) 固定池物化层——基于缓存的任务侧/数据侧/模型侧信号低成本生成候选子集；(2) 全量评估层——仅对最有潜力的候选配方执行完整 SFT 评估。核心算法组件包括预热探测、已实现子集状态追踪、局部配方编辑、高斯过程辅助排序和停滞触发重播种。在 90K 指令池上，AutoSelection 在三个基模型上取得最强域内推理平均分，超越全量训练、随机配方搜索、随机 Top-k 和单算子选择器。1.5B→7B 迁移检查证实配方跨尺度可迁移。

对大模型数据工作的影响

AutoSelection 的核心论点——“配方结构比单个选择算子更重要”——对当前数据选择实践有深刻启示。业界普遍采用的”先用质量分类器过滤，再去重”流水线实际上是一种特定配方，但其结构选择缺乏系统优化。AutoSelection 提供了自动化配方搜索的工程化方案，尤其在高斯过程辅助排序和停滞重播种策略上，为有限评估预算下的数据配方优化提供了实用方法论。1.5B→7B 的迁移性也暗示了配方的”尺度无关性”。

---

钛媒体科技领域高质量数据集：垂直领域价值语料生态

事件概述

2026 人民网数据智能伙伴会上，主流价值语料生态联盟正式启动，钛媒体发布科技领域高质量数据集，为 AI 大模型训练注入 TMT 垂直领域权威语料。

技术细节

该数据集构建了图文与视频双核多模态语料体系：图文语料库汇聚海量科技报道、行业研报与专业评论，标签体系完整，富含 TMT 领域专业术语与结构化元数据；视频语料涵盖 T-EDGE 全球创新大会、数字价值峰会等独家行业活动实录及企业家深度访谈，配套高精度转录文本与多模态标注。全部内容经专业编辑审核，版权清晰可授权，面向联盟成员开放素材共享。数据集可应用于大模型训练与价值对齐、产业政策研究、知识图谱构建等多元场景。

对大模型数据工作的影响

这是中国”主流价值语料”生态建设的重要一步。当前中文大模型训练面临的核心瓶颈之一是缺乏权威、专业、合规的垂直领域语料——科技报道和行业研报等高价值内容往往散落在付费墙后或版权不明。钛媒体数据集的”版权清晰可授权”特性，为合规化中文预训练语料供给提供了可复制的模式。其图文+视频多模态体系也顺应了 VLM 训练对高质量图文对的需求。这一模式如能从 TMT 扩展到法律、医疗、金融等更多垂直领域，将系统性改善中文大模型的领域适配能力。