数据论文速递 · 2026年07月29日

引言

本周 arXiv 数据方向论文呈现一个清晰趋势：预训练数据策展从”一刀切”走向”因材施教”。四篇论文分别从不同粒度切入——DataOrchestra 在样本级编排差异化处理管线，CuraWeb 在语料库级联合优化质量/冗余/多样性三目标，DomainPilot 在域级用损失信号引导混合优化，DecoupleMix 在多模态场景将配比问题解耦为类间搜索与类内凸分配。共同信号是：数据工程正在从”经验驱动”变成”工程化可复现”的学科。

---

DataOrchestra: 样本级编排预训练数据策展管线

论文信息：DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data（arXiv:2607.24717，2026-07-27，Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu）

核心问题：现有预训练数据处理方法在语料或域级别定义固定策略，对大量样本一视同仁，无法适配每个样本的差异化需求——有的该丢弃、有的该保留、有的该清洗重写，但统一策略无法区分。

关键发现：

• 提出编排器（Orchestrator）对每个数据块做三选一决策：丢弃、保留、清洗；清洗时进一步选择下游操作（编程编辑或 LLM 重写），并为每步生成具体指令
• 在 0.5B 到 7B 模型上从零预训练，11 个基准上稳定超越单一数据处理方法
• 在数学持续预训练中优于更强基线，同时通过跳过不必要的下游操作减少处理计算量
• 核心洞察：不同样本需要不同处理深度的”因材施教”比”一刀切”更高效

实践启示：预训练数据清洗不应是”先过滤再统一处理”的流水线，而应是”先诊断再分治”的编排系统。编排器思路可推广到任何大规模数据策展场景——与其对所有数据施加相同质量标准，不如让模型学会判断每条数据需要什么处理。

---

CuraWeb: 质量与冗余与多样性的联合优化范式

论文信息：CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data（arXiv:2607.22662，2026-06-29，Peiguang Li, Yongwei Zhou, Juncheng Diao 等 15 人）

核心问题：FineWeb-Edu、DCLM 等主流语料库依赖单一优化目标（如教育质量评分），导致分布多样性收窄、长尾知识被边缘化，无法充分释放开放 Web 数据的潜力。

关键发现：

• 提出从”线性修剪”到”质量-冗余-多样性联合优化”的范式转变
• 双轨清洗（规则+模型驱动）+ 混合去重（n-gram+语义）+ 多目标采样器平衡信息质量与分布广度
• 基于 Common Crawl 构建 2T-token 英语语料库 CuraWeb，3B 规模实验中平均性能提升 1.8%
• 在知识密集型任务和推理任务上提升尤为显著，证明长尾知识覆盖的重要性

实践启示：高质量≠高覆盖——单一质量过滤器的隐含代价是牺牲分布多样性。CuraWeb 的多目标采样器思路提醒我们：数据策展的”质量”不应仅看单文档得分，还应看整体语料库的分布健康度。对于追求长尾知识覆盖的预训练场景，联合优化是必由之路。

---

DomainPilot: 域级损失引导的两阶段数据混合优化

论文信息：DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning（arXiv:2607.22769，2026-07-24，He Zhang）

核心问题：现有数据混合优化方法面临三重困境——样本级选择在 TB 级语料上 O(N) 代价过高，混合优化方案引入 I/O 瓶颈或需要训练辅助参考模型，样本级重加权依赖的损失信号混淆了噪声、难度和 novelty。

关键发现：

• 提出域级损失引导的两阶段优化：粗优化阶段用 Scaling Law 拟合域级收敛曲线导出先验，细优化阶段用 Mixing Law 建模域间交互效应
• 通过 patch 架构仅 ~30 行框架适配代码注入域感知损失计算，无需中断数据管线
• 在 Qwen3-1.7B SFT 上：MMLU-Redux +2%、AIME24 +1.8%、LiveCodeBench v5 +3.8%、BFCL v3 +3.6%
• 不增加数据量或训练成本，仅通过优化混合比例即获得显著提升

实践启示：数据混合优化不必依赖昂贵的辅助模型或逐样本选择——域级损失信号已经足够指导有效的混合调整。两阶段设计（粗→细）的工程思路尤其值得借鉴：先用 Scaling Law 粗定位，再用 Mixing Law 精调域间交互，兼顾效率与精度。~30 行适配代码的轻量级实现也降低了工业落地门槛。

---

DecoupleMix: VLM 数据配比的解耦搜索与凸分配

论文信息：DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes（arXiv:2607.24516，2026-07-27，Jiahao Xie, Zhongbin Guo, Qianle Wang, Ruiqi Lu, Dongling Xiao, Wanxuan Sun, Cheng Yang）

核心问题：VLM 预训练数据构建仍以启发式为主——堆叠通过质量过滤的数据集、凭直觉设定跨域比例、缺乏可归因的数据准入标准，前沿配方又不公开。

关键发现：

• 将数据混合解耦为两个正交子问题：类间比率（跨能力域）和类内比率（同类别内数据集选择）
• 类间用单变量迭代搜索，类内用质量/难度多维评分 + 约束凸优化 + 多样性目标
• 小规模代理上发现的最优比率可无缝迁移到更大规模，无需重新调优
• 80B 额外多模态持续预训练 token 使 VLM 与使用更大规模多模态预算训练的强开源模型竞争力相当

实践启示：数据配比问题可以正交分解——“各能力域喂多少”和”每个域内选哪些数据集”是两个独立子问题，用不同方法分别求解比端到端联合优化更高效。凸优化的引入使类内选择有了理论保证，小规模代理的迁移性则大幅降低了配比搜索成本。这套方法对任何多域预训练场景都有参考价值。