数据论文速递 · Vol.52

数据论文速递 · 2026年06月01日

本期聚焦后训练数据集估值、预训练泛化诊断、弱到强泛化的预训练必要性、多智能体合成数据生成，以及训练目标对数据分布的深层影响——从估值理论到诊断工具，揭示数据在模型训练全生命周期中的关键角色。

论文速递 arXiv 数据估值 数据选择 预训练数据 合成数据 泛化诊断 弱到强泛化 后训练 ICML 2026

引言

本期速递精选5篇数据相关最新论文，覆盖后训练数据估值、预训练泛化诊断、弱到强泛化理论、多智能体合成数据生成及训练目标对数据分布的深层影响。从凸优化视角的数据集级估值方法（ICML 2026），到无需验证数据的预训练泛化诊断指标，再到预训练数据如何决定弱到强泛化的涌现——这些工作为数据工程提供了从理论到实践的新工具箱。

Convex Dataset Valuation for Post-Training

  • 论文信息：Convex Dataset Valuation for Post-Training | arXiv:2605.16704 | ICML 2026
  • 核心问题：后训练阶段如何从多个辅助数据集中高效选择最有价值的数据子集？现有梯度对齐分数忽略了数据集间的冗余，导致估值信号不完整。
  • 关键发现：
    • 提出基于梯度空间核均值匹配（KMM）的凸数据集级估值方法，联合建模数据集与目标任务的对齐度及数据集间的冗余性
    • 在多种后训练设置中一致优于现有估值基线，计算开销低
    • 将数据集估值定位为数据市场约束下的实用决策工具——在预算有限时，识别哪些辅助数据集最值得获取
  • 实践启示：后训练数据选择不应只看单个数据集与目标的对齐度，还必须考虑数据集之间的信息冗余。这对构建数据采购策略、设计多源数据混合方案有直接指导意义。

A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio

  • 论文信息：A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio | arXiv:2605.28975
  • 核心问题：如何在不使用验证数据的情况下，在预训练过程中实时诊断模型的泛化状态？现有方法依赖验证集，但验证数据的获取和选择本身带来偏差。
  • 关键发现：
    • 提出对数对齐比率（Log-Alignment Ratio, LAR）指标，通过追踪训练过程中记忆化与泛化的转变来诊断泛化差距
    • 在3B参数语言模型预训练中，LAR的偏差能有效追踪泛化差距，且不需要任何验证数据
    • LAR提供了预训练过程中的”泛化温度计”——当LAR偏差增大时，模型正从记忆转向泛化
  • 实践启示：LAR为数据质量监控提供了新工具——在预训练过程中无需维护验证集即可实时评估训练数据的泛化贡献。结合数据选择方法，可实现”边训练边诊断”的闭环数据策展。

On the Blessing of Pre-training in Weak-to-Strong Generalization

  • 论文信息：On the Blessing of Pre-training in Weak-to-Strong Generalization | arXiv:2605.05710
  • 核心问题：弱到强泛化（W2SG）——强模型超越弱监督者的能力——究竟从何而来？预训练数据在其中扮演什么角色？
  • 关键发现：
    • 从理论上证明预训练为模型提供了”几何热启动”，将其置于损失景观的”有效区域”（扰动强凸性几何），使W2SG成为可能
    • 在随机初始化下W2SG不可能实现，预训练是涌现W2SG的必要前提
    • 通过对数百个LLM预训练中间检查点的大规模评估，发现W2SG不是模型固有属性，而是通过相变涌现的——且与预训练进度紧密耦合
    • W2SG性能与激活中线性表示的涌现之间存在强正相关
  • 实践启示：预训练数据的深度和广度直接决定模型能否实现弱到强泛化。这对”预训练需要多少数据才够”提供了新视角——不仅要考虑预训练loss，还要考虑对后续监督泛化的支持能力。

GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling

  • 论文信息：GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling | arXiv:2605.28835
  • 核心问题：函数调用训练数据如何高效合成？现有合成数据管道存在API不可靠、工具可扩展性有限、多样性不足和质量控制薄弱的问题。
  • 关键发现：
    • 提出多智能体框架自动生成函数调用训练数据，通过角色协作实现API验证、工具扩展和数据多样性保障
    • 框架包含API可靠性检查、工具可扩展性设计、多样性增强和质量控制四个核心模块
    • 生成的合成数据在准确性和泛化性上优于现有方法
  • 实践启示：合成数据的质量取决于生成流程的系统设计，而非单纯依赖大模型。多智能体协作模式为函数调用、工具使用等结构化任务的合成数据生成提供了可扩展范式。

From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale

  • 论文信息：From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale | arXiv:2605.28826
  • 核心问题：指令微调和偏好优化如何重塑模型的语言分布？规模扩展能否弥补对齐训练带来的分布偏移？
  • 关键发现：
    • 对17个模型（410M至100B+参数）的分析表明，指令微调导致语言熵系统性坍缩（放大1,949-16,853%），而RLHF不会进一步恶化该效应
    • 强控制（λ=5.0）以200-1000倍规模劣势超越前沿模型96.7-98.2%——对齐需要足够的控制强度，而非仅仅是分布平滑
    • 训练目标比模型规模更能决定最终的语言分布特征
  • 实践启示：数据的选择和训练目标的设定比对齐数据规模的扩展更为关键。对齐训练中应当关注语言多样性的保持，而非单纯追求指令跟随率的提升。这对SFT数据配比和偏好数据构建有直接启示。