数据工程观察 · 2026年07月31日

本周数据工程领域呈现出一个清晰趋势：数据混合正从”经验配方”走向”工程学科”。无论是 VLM 预训练的跨域配比、SFT 的域级损失引导优化，还是检索模型的对比预训练数据策展，核心共性是将”直觉驱动”的数据选择升级为可归因、可复现、可迁移的系统化优化问题。

DecoupleMix：VLM 预训练数据混合的解耦优化与凸分配

事件概述

7 月 27 日，来自复旦等机构的研究团队发布 DecoupleMix（arXiv:2607.24516），将 VLM 预训练数据构建形式化为系统性混合优化问题，通过解耦跨能力域间配比与类内数据组成两个正交子问题，实现可复现的工程化数据配方。

技术细节

• 解耦架构：将数据混合分解为两个正交优化问题——(1) 类间配比（inter-class ratios）：不同能力域之间的数据比例，采用单变量迭代搜索；(2) 类内组成（intra-class composition）：同一类别内数据集的选择，通过质量（Quality）与难度（Difficulty）多维评分建模，形式化为带多样性目标的约束凸优化问题
• 关键能力：框架可回答”下一步该收集什么数据”，并将数据集验证变为可控、可归因的实验
• 规模外推：小规模代理实验发现的最优配比可无缝迁移到更大规模，无需重新调参
• 实证：使用 80B 额外多模态持续预训练 token，VLM 达到与使用远大多模态预算训练的强开源模型竞争的表现

对大模型数据工作的影响

DecoupleMix 的核心贡献在于将 VLM 数据配方从”堆叠通过质量过滤的数据集 + 直觉设定比例”升级为可工程化的优化问题。类间-类内解耦的设计思路，使得”该收什么数据”和”怎么混”成为独立可控的决策。凸优化形式化保证解的全局最优性，小规模代理到大规模的迁移性则大幅降低了配比搜索成本。这一范式对任何需要多源数据混合的预训练场景——不仅是 VLM——都有直接借鉴意义。

DomainPilot：域级损失引导的两阶段 SFT 数据混合优化

事件概述

7 月 24 日，研究者在 arXiv 发表 DomainPilot（arXiv:2607.22769），提出域级损失引导的两阶段数据混合优化框架，仅需约 30 行框架适配代码即可嵌入现有训练管线，在 Qwen3-1.7B SFT 上实现多维度显著提升。

技术细节

• 域级损失监控：在训练过程中无中断地捕获每个域的 token 级学习动态，无需额外参考模型或数据管线中断
• 两阶段优化：
  • 粗优化（Scaling Law 引导）：拟合域特定收敛曲线，推导混合调整的原则性先验
  • 细优化（Mixing Law 引导）：通过受控扫描实验建模跨域交互效应，精炼配比
• Patch 架构：以约 30 行 Megatron-LM/MindSpeed 适配代码注入域感知损失计算
• 实证：Qwen3-1.7B SFT 优化混合 vs 原始混合——MMLU-Redux +2%、AIME24 +1.8%、LiveCodeBench v5 +3.8%、BFCL v3 +3.6%，未增加数据量或训练成本

对大模型数据工作的影响

DomainPilot 解决了工业级 SFT 数据混合优化的三大痛点：数据选择的 O(N) 成本、混合优化的 I/O 瓶颈、样本级重加权的信号混淆。域级粒度是关键设计决策——比样本级更高效（避免遍历全量数据），比语料级更精细（捕捉域间动态交互）。两阶段设计（粗→细）对应了从全局趋势到局部交互的优化路径。约 30 行适配代码的极低侵入性，使该方案在工业训练框架中的落地成本接近零。DomainPilot 与 DecoupleMix 形成互补：前者面向 SFT 的在线优化，后者面向预训练的离线配方设计。

DenseOn/LateOn：全开放检索模型训练数据从零构建

事件概述

7 月 29 日，研究者发布 DenseOn 和 LateOn（arXiv:2607.27178），提供从 34 个公开来源构建 6.65 亿英文对比预训练对、188 万 SFT 对的完整开放配方，并训练出两个 149M 参数检索模型，在 BEIR 上达到该规模级新 SOTA。

技术细节

• 数据策展：从 14 亿原始对中重建并策展 6.65 亿英文对比预训练对，覆盖 34 个公开来源；构建 188 万 SFT 对，使用挖掘的硬负例
• 双模型：DenseOn（单向量密集检索）和 LateOn（ColBERT 风格后期交互检索），均为 149M 参数
• BEIR SOTA：DenseOn 56.20、LateOn 57.22 平均 nDCG@10，该规模级新纪录
• 多语言迁移：将验证后的英文数据翻译为 8 种语言，生成 28 亿对跨语言样本，训练 mDenseOn/mLateOn（307M 参数，mmBERT-base 骨干）
• 关键发现：密集模型在翻译支持语言上强但在支持外退化，后期交互模型对未见语言和文字体系泛化更好——token 级匹配将 translate-train 从”目标语言扩展”升级为”多语言泛化配方”
• 全开放：模型、数据集、训练代码全部公开

对大模型数据工作的影响

DenseOn/LateOn 的核心价值不仅是模型性能，而是全开放训练数据配方。当前检索模型越来越依赖闭源训练数据，造成可复现性鸿沟。该工作从公开来源系统重建对比预训练对，提供了一条”从公开数据到 SOTA 模型”的完整可审计路径。多语言实验中密集检索 vs 后期交互的泛化差异发现，对跨语言训练数据设计有重要指导意义：token 级匹配天然具备跨语言迁移能力，而句子级嵌入则依赖训练数据覆盖。这一洞察对多语言预训练数据策展同样适用。

LAION eV 情感角色扮演语音数据集：首个开源情感 TTS 训练数据

事件概述

7 月 11 日至 15 日，LAION eV 在 HuggingFace 连续发布两个多语言情感角色扮演语音数据集——emotional-roleplay-finetuning-dataset（67,711 片段 / 184 小时）和 moss-local-dramabox-full-reinterpretations-64（约 189,000 样本），均采用 CC-BY-4.0 许可，为表达性语音合成和角色情感 TTS 提供首个大规模开源训练数据。

技术细节

• emotional-roleplay 数据集：67,711 个语音片段，覆盖德/英/西/法四语种，18 种以上非人类角色原型（兽人、地精、巨魔、僵尸、龙等），多维高唤醒度情感表达（愤怒、恐惧、悲伤、威胁、喜悦、嘲讽等），由微调后的 MOSS-TTS-Local v1.5 模型生成
• dramabox 数据集：2,953 个原始 DramaBox 双场景表演 × 64 次重新生成 = 约 189,000 样本，覆盖 9 条 DramaBox 路径四语种
• 多维标注：WER、声音真实性与融合度、语义相似度、EmoNet 42 维情感分析（含 40 种情绪 + 效价/唤醒度）、192 维说话人嵌入（ECAPA-TDNN）、时长匹配度等
• 许可：CC-BY-4.0，商业友好

对大模型数据工作的影响

这是情感角色 TTS 领域首个大规模开源训练数据，填补了非人类角色、高唤醒度情感类语音数据稀缺的空白。对于正在发展的语音大模型（如 GPT-5 语音模式、Gemini 语音交互等），情感表达能力是核心差异化维度。LAION eV 的数据集设计有两个值得关注的点：(1) 完全合成数据但配备全维度量化评估指标，使得合成质量可审计、可迭代；(2) 64 次重诠释的 best-of-N 设计模式，为合成数据多样性评估提供了标准化基准。多维标注体系（特别是 42 维情感分析 + 192 维说话人嵌入）的开放，为语音 AI 研究社区提供了稀缺的评估基础设施。