研究提案 已修订

面向RLVR训练数据的奖励信号纯度诊断与纯度驱动策展：从隐式奖励过拟合到信号纯度保障

诊断RLVR训练数据中的奖励信号污染（噪声、非泛化模式、过早置信触发），提出奖励信号纯度驱动的训练数据策展框架，从数据层面消除隐式奖励过拟合

RLVR 奖励信号纯度 隐式奖励过拟合 训练数据工程 低秩动态 数据质量 代码生成 推理泛化

背景与动机

RLVR（Reinforcement Learning with Verifiable Rewards）已成为提升大语言模型推理能力的核心训练范式，在数学推理、代码生成、逻辑推理等任务上取得了显著突破。然而，近期研究揭示了RLVR训练中两个深层问题，它们共同指向训练数据质量的根本性瓶颈：

问题一：隐式奖励过拟合。 Ye et al.（2026）通过周期性秩-1替换（Periodic Rank-1 Substitution, PRS）发现，RLVR训练的推理能力几乎完全集中在权重更新的秩-1分量中，而秩>1分量虽然贡献了训练奖励，却无法迁移到测试泛化。这意味着模型在训练中获得的”额外奖励”实际上是奖励信号污染——它不携带可泛化的推理知识，只反映了训练数据中的非本质模式（如格式偏好、表面相关性、捷径策略等）。

问题二：噪声数据对RLVR的破坏性。 Zhu & Kang（2026）严格证伪了”RLVR对奖励噪声鲁棒”的假设，发现先前研究中声称的鲁棒性源于数据集污染（>16%的”错误”标注实际正确）。在真正含噪声的数据上，RLVR性能急剧退化至仅学习格式奖励的水平，且高级偏差缓解算法无法补偿。这表明奖励信号的纯净度直接决定了RLVR的泛化能力。

问题三：质量感知奖励的必要性。 Forge（2026）发现二元正确性奖励（通过/不通过）严重限制了RLVR在NP难优化问题上的效果，而质量感知奖励（Quality-Aware Reward）可提升28.8%的解质量。SWE-Fuse（2026）则证明熵感知RLVR（动态调整PPO裁剪范围）在代码智能体训练中取得SOTA。这些工作暗示：奖励信号的粒度和质量是RLVR训练数据的关键属性。

上述三个问题共同指向一个核心矛盾：当前RLVR训练数据将”纯净奖励信号”（可泛化的推理知识）与”污染奖励信号”（非泛化的噪声和捷径）混合在一起，而现有数据工程流水线缺乏区分和过滤污染信号的机制。 其后果是模型同时学习了两类信号，秩-1分量提取纯净信号实现泛化，而秩>1分量吸收污染信号导致隐式奖励过拟合——训练奖励虚高，测试性能受损。

核心思路

我们提出REWARD-PURE框架，将RLVR训练数据中的奖励信号纯度（Reward Signal Purity）建模为一等数据质量信号，通过纯度诊断→纯度驱动策展→纯度-能力共进化闭环三阶段，从训练数据层面系统性消除隐式奖励过拟合。

核心洞察： 隐式奖励过拟合的本质是训练数据中纯净信号与污染信号的共存。如果能在数据层面识别并过滤污染信号源，则模型无需”自行分离”秩-1与秩>1分量——纯净的训练数据自然产生泛化性强的权重更新。

与现有工作的关键区别：

维度现有工作REWARD-PURE
隐式奖励过拟合PRS作为诊断工具，训练后分离秩-1在数据层面预防，训练前消除污染源
噪声鲁棒性算法层面缓解（偏差修正、自适应裁剪）数据层面根除（纯度门控过滤）
奖励粒度Forge扩展奖励空间（连续质量分数）诊断信号来源纯度（哪些数据实例产生纯净vs污染信号）
数据选择基于难度、熵、方差的启发式基于奖励信号纯度的因果诊断

技术路线

阶段一：奖励信号纯度诊断（Reward Signal Purity Diagnosis）

1.1 信号纯度的形式化定义

定义训练实例 xix_i 的奖励信号纯度 ρ(xi)\rho(x_i) 为该实例对模型泛化能力的贡献比例：

ρ(xi)=Δgen(xi)Δtrain(xi)\rho(x_i) = \frac{\Delta_{\text{gen}}(x_i)}{\Delta_{\text{train}}(x_i)}

其中 Δgen(xi)\Delta_{\text{gen}}(x_i) 是在实例 xix_i 上训练后模型在保留测试集上的性能增益，Δtrain(xi)\Delta_{\text{train}}(x_i) 是训练集上的奖励增益。纯度 ρ∈[0,1]\rho \in [0, 1]，ρ=1\rho = 1 表示完全纯净（训练增益完全泛化），ρ→0\rho \to 0 表示高度污染（训练增益不泛化）。

1.2 基于低秩分解的纯度近似估计

直接计算 ρ(xi)\rho(x_i) 需要逐实例训练-评估，计算不可行。我们提出一种高效近似：

  • 对当前模型 checkpoint 执行 SVD 分解权重更新 ΔW=UΣVT\Delta W = U \Sigma V^T
  • 利用 PRS 分离秩-1分量 ΔWr1\Delta W_{r1} 与残差分量 ΔWrest\Delta W_{\text{rest}}
  • 对每个训练实例 xix_i，计算其在 ΔWr1\Delta W_{r1} 和 ΔWrest\Delta W_{\text{rest}} 上的梯度投影比： ρ^(xi)=∥∇Wr1L(xi)∥∥∇WL(xi)∥\hat{\rho}(x_i) = \frac{\|\nabla_{W_{r1}} \mathcal{L}(x_i)\|}{\|\nabla_{W} \mathcal{L}(x_i)\|}
  • 梯度主要投影到秩-1分量 → 纯净信号源；主要投影到秩>1分量 → 污染信号源

1.3 污染模式分类器

基于纯度估计，训练一个轻量级污染模式分类器，将训练实例分为三类：

  • 纯净信号源（Pure, ρ^>τhigh\hat{\rho} > \tau_{\text{high}}）：梯度主要更新秩-1分量，泛化性强
  • 混合信号源（Mixed, τlow<ρ^<τhigh\tau_{\text{low}} < \hat{\rho} < \tau_{\text{high}}）：同时含纯净与污染信号
  • 污染信号源（Polluted, ρ^<τlow\hat{\rho} < \tau_{\text{low}}）：梯度主要更新秩>1分量，泛化性差

分类特征包括：实例难度、模型置信度、奖励方差、熵、格式复杂度、捷径可利用度等。

阶段二：纯度驱动训练数据策展（Purity-Driven Data Curation）

2.1 纯度门控采样

在RLVR训练的数据批次构建中，以奖励信号纯度作为采样权重：

w(xi)=ρ^(xi)α⋅difficulty(xi)βw(x_i) = \hat{\rho}(x_i)^{\alpha} \cdot \text{difficulty}(x_i)^{\beta}

其中 α\alpha 控制纯度偏好强度，β\beta 控制难度偏好。高纯度+适中难度的实例获得最高采样权重。

2.2 污染信号中和

对混合信号源和污染信号源实例，不是简单丢弃（会损失覆盖度），而是进行信号中和：

  • 格式去捷径化：识别并移除允许模型不经过推理即可获得奖励的格式模式（如特定关键词触发奖励）
  • 噪声清洗：利用GPT-5 Pro + 符号验证双重校验，消除标注噪声（Zhu & Kang方法）
  • 质量感知奖励重标定：将二元奖励替换为质量感知连续奖励（Forge方法），使污染信号源的奖励更加平滑，减少秩>1分量吸收的突变梯度

2.3 纯度-难度联合课程

设计课程学习策略，在训练早期优先使用高纯度实例建立泛化基础（秩-1分量初始化），后期逐步引入经过中和的混合实例扩展覆盖度，始终避免纯污染实例。

阶段三：纯度-能力共进化闭环（Purity-Capability Co-evolution）

3.1 在线纯度追踪

在RLVR训练过程中，周期性执行PRS诊断，追踪当前策略下各训练实例的纯度变化。关键观察：随着模型能力提升，某些先前”纯净”的实例可能退化为”混合”或”污染”（因为模型已学会其中知识，残余梯度转向非泛化方向）。

3.2 纯度驱动的数据演化

  • 纯度退化检测：当实例纯度 ρ^(xi)\hat{\rho}(x_i) 跨越阈值下降时，将其从当前训练池中退役
  • 纯度驱动合成：利用当前纯度画像，定向合成高纯度新实例填充退役空缺——在模型能力前沿附近采样，确保新实例的梯度投影主要贡献于秩-1分量
  • 纯度-能力均衡：维持训练池中纯度分布的动态均衡，避免过度偏向纯净（覆盖度不足）或过度偏向覆盖（纯度下降）

3.3 纯度校准闭环

引入外部可验证信号（如形式化验证、人工标注测试集）作为纯度校准锚点，周期性验证纯度诊断的准确性，防止纯度估计本身漂移。

关键技术挑战

  1. 纯度估计的效率：逐实例SVD计算成本高，需开发增量式低秩近似方法
  2. 纯度-覆盖度权衡：高纯度数据可能覆盖度不足，需设计帕累托最优采样策略
  3. 污染信号的因果识别：梯度投影是相关性指标而非因果指标，需结合反事实分析验证因果性
  4. 跨域纯度迁移：数学推理中有效的纯度指标是否迁移到代码生成、科学推理等域？
  5. 纯度漂移检测：在线追踪中如何区分”纯度退化”与”模型已掌握该知识”的正常现象？

预期成果

定量目标

  1. 隐式奖励过拟合率降低 50%+：相比标准GRPO训练，PRS诊断的秩>1分量占比降低50%以上
  2. RLVR泛化性提升 5-10%：在MATH-500、HumanEval+、SWE-bench-Verified等基准上，同等参数量下泛化性能提升5-10%
  3. 噪声鲁棒性提升：在10-30%噪声水平下，性能退化幅度从当前~10%降至<3%
  4. 训练数据效率提升 30%+：达到同等泛化性能所需训练实例数减少30%以上

定性目标

  1. 建立RLVR训练数据的奖励信号纯度理论框架，为数据质量评估提供新维度
  2. 提供开源的纯度诊断工具包，支持RLVR训练数据的纯度画像分析
  3. 揭示纯度与数据属性（难度、噪声、格式、域）的因果关系

可能的影响

本工作将推动RLVR训练从”数据量驱动”转向”数据纯度驱动”，为解决隐式奖励过拟合这一根本性问题提供数据层面的系统性方案。纯度诊断方法可广泛应用于数学推理、代码生成、科学推理等RLVR训练场景，并可扩展至多模态RLVR和Agent RL训练数据质量控制。

相关工作

  1. On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR (Ye et al., 2026)

    • 揭示RLVR推理能力集中于秩-1分量，非秩-1分量导致隐式奖励过拟合
    • arXiv: 2605.06523

  2. Noisy Data is Destructive to Reinforcement Learning with Verifiable Rewards (Zhu & Kang, 2026)

    • 严格证伪RLVR噪声鲁棒性假设，证明真噪声数据破坏RLVR性能
    • arXiv: 2603.16140

  3. Forge: Quality-Aware Reinforcement Learning for NP-Hard Optimization in LLMs (Duan et al., 2026)

    • 提出质量感知奖励替代二元奖励，在NP难优化任务上提升28.8%解质量
    • arXiv: 2605.08905

  4. SWE-Fuse: Empowering Software Agents via Issue-free Trajectory Learning and Entropy-aware RLVR Training (Wen et al., 2026)

    • 提出问题无关轨迹学习与熵感知RLVR，在SWE-bench-Verified上达到60.2%
    • arXiv: 2603.07927

  5. Understanding and Mitigating Premature Confidence for Better LLM Reasoning (Gai et al., 2026)

    • 诊断过早置信现象导致推理退化，提出缓解策略
    • arXiv: 2605.24396

关联内容

研究 🔗 相关
面向自进化代码智能体的技能空白感知训练数据工程：从被动轨迹蒸馏到主动空白识别与定向填充
提出 SKILL-GAP 框架，将代码智能体技能空白建模为一等训练数据质量信号，通过空白诊断、定向轨迹合成与空白闭环校准三阶段，系统性填补自进化技能库的覆盖、难度与组合性空白
研究 🔗 相关
面向多验证环境RLVR的验证一致性训练数据工程：从环境特定捷径到跨环境一致性保障
研究多验证环境下RLVR训练中的验证一致性问题，提出跨环境一致性感知的训练数据工程框架CEVC，通过验证一致性诊断、跨环境反捷径合成和一致性驱动数据混合三阶段，系统性消除环境特定验证捷径并提升跨域推理泛化
研究 🔗 相关
面向工具增强智能体训练的隐式约束挖掘与约束锚定数据工程
从环境交互轨迹中挖掘隐式约束，将约束覆盖作为一等数据质量信号，实现约束感知的自进化智能体训练数据工程