数据论文速递 · Vol.64

数据论文速递 · 2026年07月02日

本期聚焦 Agentic 数据合成、数据配比优化与评估诊断三大方向：Meta FAIR 的 Autodata 让 AI Agent 自主构建训练数据，FastMix 用梯度下降将数据配比搜索效率提升 550 倍，Repetition Mismatch 揭示数据混合实验无法泛化的根本原因，Data-Eval 闭环实现评估到数据的可溯源干预，DataClaw0 将多模态数据处理从被动标注升级为主动裁缝。

论文速递 arXiv 数据合成 数据配比 Agentic数据 评估诊断 多模态数据 Scaling Laws 预训练数据 数据混合

引言

本期速递聚焦近期 arXiv 上大模型数据领域的 5 篇重要论文，涵盖 Agentic 数据合成、数据配比优化、评估-数据闭环 三大方向。

Agentic 数据合成成为新趋势——Meta FAIR 提出 Autodata，让 AI Agent 扮演数据科学家自主迭代生成高质量训练数据；DataClaw0 将多模态数据处理从被动标注升级为”主动裁缝”。数据配比方面，FastMix 用双层优化将配比搜索效率提升 550 倍；Repetition Mismatch 揭示了小规模数据混合实验无法泛化的根本原因。评估-数据闭环方面，Data-Eval 闭环框架将评估失败可溯源地转化为数据干预。

Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data

论文信息

  • 标题：Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data
  • 链接：arXiv:2606.25996
  • 作者：Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu 等（Meta FAIR）

核心问题

现有合成数据方法（Self-Instruct、Grounded Self-Instruct、CoT Self-Instruct 等）无法直接控制数据质量和难度，缺乏迭代改进机制。如何让 AI Agent 自主扮演数据科学家的角色，持续迭代生成越来越高质量的训练和评测数据？

关键发现

  • 提出 Agentic Self-Instruct 方法，将数据创建过程建模为迭代的 Agent 循环：Agent 生成数据 → 定性检查（准确性、难度、多样性）+ 定量评估（下游模型表现）→ 提炼学习经验 → 更新生成策略
  • 引入外环元优化机制：通过训练数据科学家 Agent 本身（使其学会更好地执行数据科学任务），进一步提升数据生成质量
  • 在计算机科学研究任务、法律推理和数学对象推理三个领域，元优化后的 Agent 相比静态基线方法有一致的性能提升，且在需要长推理链的领域提升最显著
  • Agentic 数据创建提供了一种将推理计算资源转化为更高质量模型训练数据的路径

实践启示

  • 合成数据生成应从”一次性生成”升级为”迭代进化”范式，Agent 在循环中不断学习和改进
  • 元优化 Agent 本身比直接优化数据更高效——投入推理算力提升数据质量，而非仅扩大生成量
  • 对于缺乏大规模标注资源的团队，Agentic 方法有望缩小与头部实验室的数据差距

FastMix: Fast Data Mixture Optimization via Gradient Descent

论文信息

  • 标题：FastMix: Fast Data Mixture Optimization via Gradient Descent
  • 链接：arXiv:2606.14971
  • 作者：Haoru Tan, Sitong Wu, Yanfeng Chen 等（香港大学 / 腾讯混元 / 香港中文大学）

核心问题

数据配比对大模型训练至关重要，但现有方法要么依赖人工试错，要么需要训练大量代理模型（如 RegMix 训练 512 个模型），搜索成本极高。如何高效地找到最优数据配比？

关键发现

  • 将数据混合选择重新表述为双层优化问题，证明优化混合比例在数学上等价于在均匀源采样下分配每源损失权重
  • 混合系数可直接嵌入可微迭代优化目标，实现基于梯度的联合优化
  • 实现近似迭代优化：内循环按当前配比采样更新模型参数，外循环根据验证反馈更新混合比例
  • 预训练中仅用 1.3 GPU 小时即达 14 个基准平均分 48.2（9 项最优），比 RegMix 快 550 倍，比 CLIMB 快 55 倍
  • 后训练（SFT）中，数学微调混合可泛化到编程和 STEM-QA，2.2 GPU 小时达到 65.4（比次优高 5.5）

实践启示

  • 数据配比搜索不再需要数百个代理模型的”暴力枚举”，单模型梯度优化即可
  • FASTMIX 适用于预训练和后训练全流程，且配比具有跨任务泛化性
  • 对资源受限团队而言，1-2 GPU 小时的配比搜索成本极具实操价值

Repetition Mismatch: Why Data Mixture Experiments Don’t Scale and How to Fix Them

论文信息

  • 标题：Repetition Mismatch: Why Data Mixture Experiments Don’t Scale and How to Fix Them
  • 链接：arXiv:2606.07597
  • 作者：Kevin Zhou, Lisa Alazraki, Kris Cao, Marek Rei（Imperial College London / Cohere）

核心问题

小规模数据混合实验的结果往往无法泛化到大训练预算，但失败的原因从未被系统分离。为什么混合实验无法扩展？

关键发现

  • 核心原因是重复不匹配（Repetition Mismatch）：高质量数据集较小，随着训练预算增长，其重复率发生变化，最优混合比也随之改变，而小规模代理实验无法预见这种变化
  • 提出重复控制子采样程序：通过匹配目标重复率来控制该效应
  • 双源设置中，仅用目标 token 数的 1/16 做一次重复控制实验，即可为 757M 参数模型恢复到最优混合方案 0.05 以内的误差；未经重复控制的误差高达 0.75
  • 不使用重复控制达到类似精度需要 3-4 轮实验，消耗目标 token 预算的 44%-94%
  • 三源场景下，757M 规模仅需两次重复控制实验即可恢复最优混合方案

实践启示

  • 数据重复应被视为混合优化的一等人变量，而非有限数据的附带效应
  • 在做小规模混合实验时，必须匹配目标训练预算下的重复率，否则结果可能严重误导
  • 该方法简单易实施（仅调整子采样率），可立即应用于现有配比搜索流程

Data and Evaluation Closed-Loop for Model Capability Enhancement

论文信息

  • 标题：Data and Evaluation Closed-Loop for Model Capability Enhancement
  • 链接：arXiv:2606.28471
  • 作者：Zhixuan Li, Jiangan Yuan, Han Xu

核心问题

模型能力由数据塑造、由评估揭示，但两者使用不兼容的词汇——基准名称 vs 数据源/质量标签。当评估发现模型退化时，如何系统性地追溯到数据层并进行可验证的干预？

关键发现

  • 提出能力切片（Capability Slice）：一组共享背景条件、任务类型、求解操作和输出约束的评估样本，精确到可定位单一弱点，又足够稳定可在聚合后存活
  • 构建评估分类体系、非指令数据分类体系与映射规则，形成评估到数据的闭环
  • 案例 1（数据排除）：持续预训练导致 BBH 下降 46.82%，诊断发现是单个被掩码的 <EOS> 损失问题而非推理能力退化；恢复后 BBH 升至 66.44（高于原始检查点），无需改动数据
  • 案例 2（数据引入）：持续数学推理弱点被分解为特定失败组合，弱点针对性采样将 AIME2025/2026 Pass@128 从 6.67/0.00 提升至 26.67/26.67
  • 同一闭环在两个方向相反的案例中均得出正确结论

实践启示

  • 模型能力退化不一定是数据问题，可能是训练配置的细节问题——需要诊断而非直觉
  • “能力切片”提供了一种在基准粒度和单样本粒度之间的中间层抽象，兼具定位精度和统计稳定性
  • 评估-数据闭环让”发现问题→修复数据→验证修复”从玄学变为可审计的工程流程

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

论文信息

  • 标题：DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams
  • 链接：arXiv:2606.21337
  • 作者：Cong Wan, Zeyu Guo, Zijian Cai 等（西安交通大学 / 中科院大学 / 清华大学）

核心问题

海量非结构化多模态数据流（视频、GUI 操作序列等）存在高”数据熵”，现有被动标注范式成本高、方式单一，无法挖掘原始数据中的深层过程逻辑。如何让模型主动”裁剪”数据以匹配下游任务需求？

关键发现

  • 提出主动式数据裁缝（Agentic Data Tailoring）范式：给定用户意图或下游训练目标，裁缝 Agent 主动过滤冗余信息、识别任务关键证据、重组为高密度可验证的结构化监督
  • 设计两阶段数据构建管线：第一阶段提取确定性事实锚点（轻量领域专家、元数据解析器），第二阶段由强 VLM 基于锚点进行长程逻辑链推理
  • 训练 DataClaw0-9B 模型（基于 Qwen3.5-9B），结合 SFT 和 GRPO，实现与复杂裁缝意图的稳健对齐
  • 构建 DataClaw0-val，首个专用于数据精炼质量的基准
  • 下游验证：在视频生成、真实世界 VQA 和 GUI 导航上，用 DataClaw0 裁剪的高密度数据训练的模型，在有限数据条件下显著优于全量数据训练

实践启示

  • 多模态数据处理应从”被动描述”升级为”主动裁剪”——根据下游需求定制数据，而非接受数据原样
  • “事实锚点 + 生成式推理”的两阶段管线解决了”数据悖论”：训练数据裁缝所需的高质量精炼数据本身可自动化构建
  • 对多模态训练数据稀缺场景，数据裁缝可大幅压缩所需训练量，提高数据效率