数据论文速递 · 2026年05月24日

引言

本期论文速递呈现了数据工程全链路的新进展：合成数据质量如何度量？ SynAE 提出了面向 Agent 评估的多轴质量框架；数据配比搜索能否更高效？ Merge to Mix 用模型合并替代重复训练来预测最优配比；预训练数据能否”坐标化”？ KoCo 为每篇文档赋予三维语义坐标作为预训练前缀；数据选择能否一步到位？ OST 将数据选择重构为增量优化效用的排序问题；数据受限时如何配准计算？ 处方式 Scaling Laws 用单一过拟合惩罚项给出简洁而可操作的预测。五篇论文共同指向一个趋势：数据工程正从经验驱动走向可度量、可预测、可操作的系统化方法论。

---

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

论文信息：SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations · arXiv:2605.22564

核心问题：当合成数据被用于评估工具调用 Agent 时，如何系统地度量合成数据与真实数据之间的差距？当前工具调用 Agent 的评估数据集要么稀缺、要么包含敏感信息，越来越多的团队选择用合成数据替代或补充真实数据，但缺乏量化合成数据质量的统一框架。

关键发现：作者提出 SynAE 评估框架，从四个维度评估合成数据质量：(i) 任务指令与中间响应（有效性、语义保真度）、(ii) 工具调用（格式正确性、参数一致性）、(iii) 最终输出（结果一致性）、(iv) 下游评估影响（基准排名相关性）。实验表明：没有任何单一指标能充分刻画合成数据质量——不同故障模式在不同维度上表现各异，需要多轴联合评估才能全面诊断。例如，合成数据可能在工具调用格式上完全正确，但在任务指令的语义保真度上严重偏离。

实践启示：在构建合成数据用于 Agent 评估或训练时，不要依赖单一质量指标。SynAE 的多轴评估思路可扩展到其他场景：先确定关键质量维度，再为每个维度设计针对性度量。对于后训练数据质检系统，类似的多维度质量评估框架可直接借鉴。

---

Merge to Mix: Mixing Datasets via Model Merging

论文信息：Merge to Mix: Mixing Datasets via Model Merging · arXiv:2605.16066

核心问题：如何高效地找到微调数据集的最优混合配比？传统方法需要对每个候选配比做完整微调，计算成本极高；现有加速方法仍依赖代理模型或启发式规则，准确度有限。

关键发现：核心洞察是——合并各数据集单独微调后的模型，可以有效地替代在全量混合数据上微调的模型。具体方法：先在每个候选数据集上独立微调一个模型，然后通过简单算术运算加权合并这些模型，合并权重即为数据混合配比。这使得配比搜索从”训练问题”变成”推理问题”：无需为每个候选配比重新训练，只需调整合并权重即可评估。实验表明 Merge to Mix 在数据集选择任务上超越现有 SOTA 方法。

实践启示：当需要在大规模数据池中搜索最优混合配比时，Merge to Mix 提供了一个低成本替代方案。先在每个数据源上做一次独立微调（成本固定），然后通过模型合并探索无限多种配比组合（成本趋零）。这种”训练与搜索解耦”的思路对预训练配比搜索同样有参考价值——DeMix (arXiv:2602.00747) 在预训练场景下也验证了类似策略。

---

KoCo: Conditioning Language Model Pre-training on Knowledge Coordinates

论文信息：KoCo: Conditioning Language Model Pre-training on Knowledge Coordinates · arXiv:2604.12397

核心问题：标准 LLM 预训练将所有语料视为扁平的 token 序列，忽略了人类在学习时自然依赖的”上下文定位”——我们知道一条信息来自教材还是社交媒体、是永恒定理还是即时观点。能否让模型也感知到这种元信息？

关键发现：KoCo 受 DIKW（数据-信息-知识-智慧）层级启发，为每篇文档映射三维语义坐标：Source（来源类型）、Content（功能角色）、Stability（时间持久性），并将这些坐标作为文本前缀注入预训练。1.6B 模型实验表明：(1) KoCo 在 10 个下游任务上显著提升性能，加速预训练收敛约 30%；(2) 通过条件推理（conditioning on reliable source coordinates），KoCo 有效缓解了幻觉问题——模型能区分”常青物理定理”和”短暂社交观点”；(3) 相比 URL-based 方法（MeCo）和数据选择方法，KoCo 提供了更客观、更细粒度的上下文信号。

实践启示：与其只做数据过滤（二值决策），不如让模型知道”这条数据是什么性质”。KoCo 的知识坐标思路可以与现有数据质量标注体系结合：在质检流水线中，除了打质量分数外，还可以标注来源类型和内容稳定性，作为预训练的条件信号。这对后训练数据质检 V2 工具中的元数据整合有直接参考价值。

---

Efficient Data Selection for Multimodal Models via Incremental Optimization Utility

论文信息：Efficient Data Selection for Multimodal Models via Incremental Optimization Utility · arXiv:2605.07488

核心问题：多模态模型的合成数据选择如何在保证质量的同时兼顾计算效率？现有 LLM-as-a-Judge 方法虽有效但计算成本高昂，且缺乏可解释性。

关键发现：OST (One-Step-Train) 将数据选择重构为增量优化效用的排序问题：不用语义启发式，而是估计每个样本对模型更新的边际效用。具体方法是在轻量代理模型上模拟单步更新，用更新幅度衡量样本价值。在 Qwen 系列多模态数学推理基准上：(1) 选择 Top-50 子集即可减少 43% 训练成本，同时超越 LLM-as-a-Judge 基线 1.8 分；(2) 在固定计算预算下，仅用 Top-20 子集即比 LLM-as-a-Judge 高 5.6 分，比全量 SFT 高 8.8 分；(3) OST 能有效识别有毒样本，逆转复杂推理任务中常见的负迁移现象。

实践启示：OST 的”增量优化效用”思路提供了一个模型感知的数据选择范式：不依赖外部评估器，而是直接测量数据对当前模型训练的边际贡献。这对后训练数据选择尤为实用——可以快速评估每条候选数据对目标模型的训练价值，避免在低效数据上浪费算力。

---

Prescriptive Scaling Laws for Data Constrained Training

论文信息：Prescriptive Scaling Laws for Data Constrained Training · arXiv:2605.01640

核心问题：当高质量训练数据不足以支撑计算规模时，如何科学地决定”重复数据 vs. 扩大模型”？现有 Chinchilla Scaling Laws 假设每个 token 唯一，无法预测重复数据带来的过拟合损失；Muennighoff 等人的扩展只能描述收益递减，无法捕捉过拟合导致的 loss 上升。

关键发现：作者提出在 Chinchilla 基础上加入单一参数的加性过拟合惩罚项：$\delta(N, D_{\text{unique}}, E) = \delta_0 \cdot (N / D_{\text{unique}})^{\gamma} \cdot (E - 1)^{\beta}$，其中 $E$ 为 epoch 数。300+ 模型实验（15M-1B 参数、50M-6B unique tokens、最多 16 epochs）表明：(1) 即使单参数形式也大幅优于已有数据受限 Scaling Laws；(2) 该定律给出了全新定性建议——超过数据依赖的阈值后，进一步重复适得其反，计算应投入模型容量；(3) 强权重衰减（$\lambda=1.0$）将过拟合系数降低约 70%，从 Scaling Laws 角度解释了为何数据受限场景下最优权重衰减远大于常规实践。

实践启示：数据受限场景下的资源分配不应简单”重复数据直到饱和”。处方式 Scaling Laws 提供了量化决策依据：先在小规模上拟合过拟合系数，再预测何时应停止重复、转向扩大模型。此外，强权重衰减可作为数据受限场景的标准实践——它不仅是正则化手段，更是数据受限 Scaling 的关键使能因素。