数据论文速递 · Vol.47

数据论文速递 · 2026年05月27日

本期聚焦指令微调数据选择、合成数据管线、RLVR提示重加权、CoT数据生产范式与推理模型自改进数据工程五个方向，涵盖批次感知数据选择、统一评分树合成管线、分布感知提示加权、双专家对话数据引发以及数据不均衡与过度思考问题。

2026年5月27日论文速递 arXiv 数据选择合成数据指令微调 RLVR CoT数据数据质量数据重加权推理模型

引言

本期速递涵盖五篇最新论文，方向横跨指令微调数据选择、合成数据管线设计、RLVR 训练提示重加权、CoT 后训练数据生产与推理模型自改进数据工程。这些工作共同指向一个趋势：从”有多少数据”转向”怎样构造、选择与加权数据”，数据工程正在从预处理走向训练循环内部。

论文信息：Stratified Loss-based Pruning for On-Policy Data-Efficient Instruction Tuning，arXiv:2605.23969
核心问题：指令微调通常依赖大规模数据集和长时间训练，如何通过高效数据选择降低训练成本同时维持甚至提升模型性能？
关键发现：提出 SLAP（Stratified Loss-based Pruning），一种批次感知的数据选择框架。与逐样本打分不同，SLAP 评估整个批次组合的可学习性，通过分布感知分层采样确保数据分布覆盖，利用相对距离优化最大化批次内多样性，并借助 Hessian 近似梯度信息进行动态批次选择。在 LLaMA 和 ChatGLM 架构上、多轮对话/多语言翻译/问答等任务中，SLAP 用全量数据 60-80% 的训练量即可超越全量训练效果。
实践启示：数据选择不应只看单个样本质量，而应关注批次级别的组合效应——同一批次的多样性和互补性可能比单个样本得分更关键。Hessian 近似梯度信息为动态数据选择提供了低成本信号来源。

论文信息：QUEST: Training Frontier Deep Research Agents with Fully Synthetic Tasks，arXiv:2605.24218
核心问题：深度研究 Agent（长程搜索、知识综合、引用溯源）的训练数据如何不依赖人工标注实现规模化合成？
关键发现：提出基于统一评分树（Unified Rubric Trees）的数据合成管线，可适配不同任务类型并合成带可验证奖励的训练数据，无需人工标注。基于此管线，仅用 8K 合成任务训练的 QUEST 模型（2B-35B）在八个深度研究基准上逼近甚至超越前沿闭源 Agent，在开源权重 Agent 中取得最佳整体性能。管线还整合了中训（mid-training）、SFT 和 RL 三阶段训练方案。
实践启示：评分树是一种结构化的合成数据质量控制方案，其核心思想是将”可验证奖励”的生成逻辑嵌入数据合成过程本身，而非事后标注。对于需要多步推理和知识综合的 Agent 训练场景，这种管线设计思路值得借鉴。

论文信息：CurveRL: Principled Distribution-Aware Context Reweighting for LLM Reasoning，arXiv:2605.24331
核心问题：在 RLVR（带可验证奖励的强化学习）训练中，如何为不同提示分配最优权重？现有方案（如 GRPO）缺乏统一的最优性原则。
关键发现：将提示重加权形式化为通过率函数空间上的泛函导数问题，建立统一最优性框架，REINFORCE 和 GRPO 均为其特例。在此基础上提出 CurveRL——基于分位数坐标变换的分布感知重加权方法，权重取决于通过率的排序和密度（而非绝对值），反映学习动力学中通过率的分布结构。多个基准测试表明 CurveRL 一致优于 GRPO 及其他 RLVR 基线。
实践启示：RLVR 训练中，提示数据的权重不应仅看单个样本的通过率绝对值，而应关注其在整体通过率分布中的位置——处于高密度区域的样本应被降权，处于信息边界附近的样本应被提升。这种分布感知视角也适用于数据选择和课程设计。

论文信息：BC Protocol: Structured Dual-Expert Dialogue for Eliciting High-Quality Chain-of-Thought Post-Training Data，arXiv:2605.25549
核心问题：高质量 CoT 数据是大模型后训练的核心瓶颈。众包标注缺乏深度推理路径，专家独立撰写受”专家盲区”制约（跳过认为显而易见的推理步骤），RLHF 仅产出偏好信号而非推理链。
关键发现：提出 BC Protocol——结构化双专家引发方法，将领域专家（晶体化智力）与知识工程师（流体智力）配对，系统性地将专家隐式判断外化为自然语言推理链。引入”校准无知”概念和”选择优于处方”方法论原则：在隐式知识引发任务中，将质控资源投入人员选择比投入流程设计收益更高。受控实验表明，BC Protocol 在”推理过程自然性”维度上以 4.80 vs 1.30（5 分制）碾压专家独立撰写。
实践启示：CoT 数据生产中的”专家盲区”是系统性问题，仅靠专家单人撰写无法解决。双专家对话结构能有效外化隐式推理步骤，这对于推理模型训练数据的质量提升具有直接意义。“选择优于处方”原则也提示我们：数据标注团队的人员构成比标注流程的精细设计更关键。

论文信息：Better, Faster: Harnessing Self-Improvement in Large Reasoning Models，arXiv:2605.24998
核心问题：推理模型自改进训练（self-improvement）常在复杂推理任务上失效甚至导致模型崩塌，根本原因是什么？
关键发现：揭示自改进训练中的两个关键问题：(1) 数据不均衡——训练样本多为简单题，困难但关键的样本稀缺；(2) 过度思考——大量含冗余推理步骤的样本被用于自训练。提出 HSIR 框架：引入 verify-then-exit 采样策略缓解数据不均衡（高效收集困难查询的准确解），设计 Intrinsic Diversity 分数量化过度思考并过滤冗余解。应用于多种后训练范式，其中 H-GRPO 利用 intrinsic diversity 作为外部奖励，通过 RL 鼓励简洁多样推理。平均性能提升达 +10.9%，推理开销降低达 42.4%。
实践启示：自生成数据不等于好数据——推理模型自改进中”数量陷阱”和”冗余陷阱”并存。verify-then-exit 策略和 Intrinsic Diversity 评分提供了一种在数据层面而非模型层面解决推理效率问题的思路。对 R1/Distill 类推理模型的后训练数据工程有直接参考价值。