数据论文速递 · Vol.37

数据论文速递 · 2026年05月17日

本期聚焦合成数据生成效率、数据策展对视觉语言模型的影响、指令微调数据选择新范式以及噪声偏好数据处理，涵盖数据合成、数据策展、数据选择与数据质量四个核心方向。

论文速递 arXiv 数据策展 合成数据 指令微调 数据选择 数据质量 视觉语言模型 偏好数据 最优传输 RLHF

引言

本期数据论文速递精选5篇最新研究，覆盖大模型数据工程的关键环节：从合成数据生成中的 token 效率优化，到数据策展对视觉语言模型的显著提升；从基于输出分歧和上下文影响力的指令数据选择，到噪声偏好数据下的奖励模型训练。这些工作共同指向一个趋势——数据效率不再是量的问题，而是精准筛选与流程优化的工程问题。

Know When To Fold ‘Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection

  • 论文信息：Anjir Ahmed Chowdhury, Syed Zawad, Feng Yan · arXiv:2605.14062

  • 核心问题：当前 LLM 合成数据生成流程通常在完整生成后才进行质量过滤，导致大量 token 浪费在最终被丢弃的低质量样本上。

  • 关键发现：提出 Multi-Stage In-Flight Rejection (MSIFR) 框架，将生成过程分解为多个顺序阶段，在每个中间检查点应用快速规则验证器（检测算术不一致、幻觉模式和格式违规），提前终止低质量生成轨迹。理论上证明任何非平凡拒绝策略都能降低期望 token 消耗，且条件效用估计构成鞅，确保早拒绝不会偏置保留样本的期望效用。实验表明 MSIFR 作为独立方法减少 11%–77% 的 token 消耗，与早退方法结合可达 78.2%，同时保持或提升评估精度。

  • 实践启示：合成数据生成不必”全量生成再筛选”。在生成 pipeline 中嵌入轻量级中间验证器，可在不增加训练成本或架构改动的情况下显著降低 token 开销。对于大规模合成数据工程，这种”边生成边淘汰”的范式比传统的后置过滤更经济高效。

20/20 Vision Language Models: A Prescription for Better VLMs through Data Curation Alone

  • 论文信息：DatologyAI (Siddharth Joshi 等 32 人) · arXiv:2605.11405

  • 核心问题：数据策展已在语言模型和图文对比预训练中展现了改变质量-计算前沿的能力，但对视觉语言模型（VLM）的影响尚未系统验证——仅靠数据策展能把 VLM 推到多远？

  • 关键发现：固定架构、训练方案和计算量，仅改变训练数据，策展后的 VLM 在 20 个公开基准上平均提升 +11.7 个百分点。2B 策展模型以约 17 倍更少的训练计算超越 InternVL3.5-2B 达 9.9pp，以约 87 倍更少计算将与 Qwen3-VL-2B 的差距缩至 1.8pp。除精度外，策展还带来四项额外收益：训练种子间性能标准差下降约 67%、OOD 泛化提升 +7.2pp、行为更诚实具体、推理 FLOPs 更低。4B 策展模型以 3.3 倍更低的推理 FLOPs 匹配近前沿精度。

  • 实践启示：数据策展是 VLM 训练中杠杆率最高的工具之一，仅靠数据优化即可用高达约 150 倍更少的训练计算达到近前沿精度。这进一步佐证了”数据质量 > 数据数量”的原则不仅适用于纯语言模型，同样适用于多模态模型。

Instruction Data Selection via Answer Divergence

  • 论文信息：Bo Li, Mingda Wang, Shikun Zhang, Wei Ye · ACL 2026 · arXiv:2604.10448

  • 核心问题：指令微调依赖大规模指令-回复语料，如何从冗余数据池中高效筛选高质量子集？

  • 关键发现：提出 Answer Divergence-Guided Selection (ADG)，基于多采样输出的几何结构选择指令数据。ADG 对每条指令进行多次高温生成，将回复映射到嵌入空间，计算编码分散幅度和形状各向异性的输出分歧分数。高分对应答案既分散又多模态的指令，而非沿单一方向聚类的释义。仅用 10K ADG 选择的样本，在推理、知识和编码六项基准上一致超越强选择器。分析表明分散幅度和形状各向异性缺一不可。

  • 实践启示：指令数据的”好”不在于问题本身，而在于模型对它的回答是否呈现分歧——分歧大的指令更能激发模型的辨别与推理能力。这一发现为指令数据筛选提供了一种无需外部奖励模型、仅依赖模型自身输出的高效信号。

What Makes Good Instruction-Tuning Data? An In-Context Learning Perspective

  • 论文信息：Guangzeng Han, Xiaolei Huang · arXiv:2604.25132

  • 核心问题：从上下文学习（ICL）视角看，什么样的数据才是好的指令微调数据？样本难度是否与上下文影响力正相关？

  • 关键发现：提出基于加权上下文影响力（wICI）的指令数据选择框架，衡量每个候选样本降低语义相关同伴指令跟随难度的有效性。系统实验揭示了三个关键发现：（1）从 ICL 角度，能有效降低同伴难度的样本才是好数据；（2）样本难度与上下文影响力负相关——对模型越难的样本，其作为示范的 ICL 效果越弱；（3）上下文影响力高的样本在微调中同样带来更好的指令跟随性能。方法在受限数据预算下一致超越现有基线。

  • 实践启示：好数据≠难数据。传统数据选择倾向于挑选”难”样本，但从 ICL 视角看，真正有价值的是那些能帮助模型更好理解同类任务的数据，而非让模型困惑的数据。这一反直觉发现为指令数据策展提供了新的筛选维度。

Optimal Transport for LLM Reward Modeling from Noisy Preference (SelectiveRM)

  • 论文信息：Licheng Pan, Haochen Yang 等 · arXiv:2605.06036

  • 核心问题：RLHF 中真实偏好数据不可避免地包含噪声偏好标注，传统训练目标会过拟合错误标注，现有去噪方法又依赖同质噪声假设，无法捕捉语言偏好的复杂性。

  • 关键发现：提出 SelectiveRM 框架，基于最优传输（Optimal Transport）处理噪声偏好。首先设计 Joint Consistency Discrepancy 对齐模型预测与偏好数据的分布；然后引入 Mass Relaxation 机制（部分传输）突破严格质量守恒约束，使模型能自主排除与语义一致性冲突的噪声偏好样本。理论证明 SelectiveRM 优化了未观测清洁风险的一个更紧上界。实验在多个基准上显著超越 SOTA 去噪方法。

  • 实践启示：偏好数据的质量直接影响 RLHF 对齐效果。SelectiveRM 证明了不是所有偏好标注都应被等权对待——允许模型”选择性地忽略”语义不一致的标注，比强制拟合全部数据更稳健。这对构建高质量偏好数据集和训练可靠奖励模型具有直接指导意义。