面向RLVR训练的秩-判别性联合数据工程：从秩退化诊断到判别性驱动的训练数据策展

背景与动机

RLVR（Reinforcement Learning from Verifiable Rewards）已成为提升LLM推理能力的核心训练范式。然而，RLVR中token级信用分配的系统性偏差正成为制约训练效率的关键瓶颈。

近期两项独立发现揭示了这一偏差的深层结构：

发现一：RLVR训练轨迹的秩退化。RELEX [1] 揭示RLVR的权重更新轨迹极度低秩——rank-1近似即可捕获绝大部分性能增益，且该投影分量的大小随训练步数近线性演化。这意味着整个训练动力学本质上是一维的：所有token的梯度贡献被压缩到单一方向上。

发现二：判别性Token梯度的系统性抑制。DelTA [2] 证明RLVR的策略梯度更新方向隐式地充当了token梯度向量的线性判别器，但该判别器的正/负侧质心由共享高频模式（格式化token、模板化推理）主导，稀释了真正区分高低奖励响应的稀疏判别性方向。

关键问题：这两个发现共同揭示了一个系统性失效——rank-1轨迹方向由训练数据的聚合token梯度结构决定，当共享模式主导token梯度时，整个训练轨迹被锁定在次优方向上，而判别性推理token的有效学习信号被系统性抑制。SRaR [3] 的实证数据进一步佐证：正确答案响应中18.2%的步骤是错误的却获得正奖励，错误答案响应中49.9%的步骤是正确的却受到惩罚。

现有方案均从算法层面修补信用分配（DelTA的判别性加权、SCRL的子问题归一化、SRaR的步骤级准则），但忽视了数据层面的根因：训练数据的组成决定了token梯度的判别性结构，进而决定了rank-1轨迹的方向。如果不从数据层面优化判别性结构，任何算法层面的修补都是在次优轨迹方向上的局部修正。

核心思路

提出 RANK-DISC（Rank-Discriminability Joint Data Engineering）框架，将RLVR训练轨迹的秩-判别性结构建模为一等数据质量信号，从数据策展层面系统性地解决token级信用分配中共享模式主导的偏差。

与现有工作的关键区别：

核心主张：训练数据的判别性结构决定了rank-1轨迹方向；通过判别性驱动的数据策展，可以从源头引导训练轨迹朝向判别性最优方向演化。

技术路线

第一阶段：秩-判别性退化诊断

目标：建立RLVR训练数据的判别性结构量化指标，诊断秩退化中共享模式与判别性模式的贡献比例。

1. Token梯度判别性分解：对训练数据中每个问题，采样正/负rollout，计算token梯度向量集合，沿DelTA的判别器视角分解为：

   • 判别性子空间：正/负侧质心差异最大的方向
   • 共享子空间：正/负侧共同的高频模式方向
   • 定义判别性比率 $\rho = \|\Delta_{\text{disc}}\| / \|\Delta_{\text{shared}}\|$，衡量判别性信号相对于共享模式的强度

2. 数据级判别性画像：对训练集中每个问题计算判别性比率，构建判别性画像分布，识别：

   • 判别性贫乏问题（$\rho$极低，共享模式主导梯度）
   • 判别性丰富问题（$\rho$较高，判别性token主导梯度）
   • 判别性欺骗问题（表面判别性高但由虚假相关性驱动）

3. 秩-判别性耦合分析：验证假设——判别性比率低的问题占比越高，rank-1轨迹方向的判别性质量越差。通过控制训练数据中判别性比率分布，观察rank-1轨迹方向的判别性得分变化。

第二阶段：判别性驱动的数据策展

目标：设计数据选择与增强策略，最大化训练数据的判别性结构质量。

1. 判别性比率门控采样：替代均匀采样，以判别性比率作为数据质量门控信号：

   • 优先采样判别性比率在 [$\rho_{\min}$, $\rho_{\max}$] 区间的问题
   • 下界$\rho_{\min}$排除共享模式主导的问题（梯度噪声）
   • 上界$\rho_{\max}$排除判别性欺骗问题（虚假相关性）
   • 区间通过验证集上的rank-1轨迹判别性得分动态确定

2. 判别性增强合成：对判别性贫乏但推理价值高的问题，通过以下策略增强判别性：

   • 对比变体合成：生成问题的变体使得正/负rollout在推理关键步骤产生分歧，而非仅在格式化token上分歧
   • 共享模式抑制注入：在问题描述中注入提示，减少格式化推理的模板化倾向，增加推理路径的多样性
   • 判别性锚点嵌入：参照SCRL的子问题分解思路，但以判别性比率为目标而非以子问题可验证性为目标，选择能最大化判别性比率的子问题分解方式

3. 秩-判别性感知批次构建：每个训练batch内确保判别性比率的多样性，避免单一判别性水平导致rank-1方向的偏斜：

   • 判别性高/中/低问题按比例混合
   • 批次级判别性方差作为batch质量指标
   • 与GRPO/DAPO等算法的group采样机制兼容

第三阶段：判别性-轨迹共进化闭环

目标：建立训练数据判别性结构与训练轨迹方向的动态对齐机制。

1. 轨迹方向判别性监控：每$K$步估计当前rank-1轨迹方向的判别性得分（沿该方向的token梯度中，判别性分量占比），构建判别性曲线

2. 判别性漂移检测：当轨迹方向的判别性得分持续下降时，触发数据重策展：

   • 下降原因诊断：共享模式累积/虚假相关性寄生/判别性数据耗尽
   • 针对性数据补充：根据下降原因选择对应的增强策略

3. 判别性-难度联合课程：将判别性比率与问题难度作为联合课程维度：

   • 早期：中等难度+高判别性（建立优质rank-1方向基础）
   • 中期：高难度+中判别性（在优质方向上推进能力前沿）
   • 晚期：极高难度+判别性增强（突破能力瓶颈）

关键技术挑战

1. 判别性比率估计的计算效率：计算token梯度需要反向传播，对每个问题都计算代价高昂。需要开发轻量级近似（如基于logit差异的代理指标、小规模探针采样）

2. 判别性欺骗的识别：某些问题表面上判别性高，但判别信号来自虚假相关性（如答案格式线索而非推理逻辑）。需要因果干预验证判别性信号的可靠性

3. 判别性-多样性的权衡：过度优化判别性可能导致训练数据同质化。需要在判别性优化与数据多样性之间建立帕累托前沿

4. 与RELEX秩-1外推的兼容：RANK-DISC改变了数据组成，可能影响RELEX假设的近线性演化特性。需要验证判别性驱动策展下的轨迹是否仍保持低秩特性

预期成果

定量目标

1. 判别性比率提升：相比均匀采样基线，训练数据的平均判别性比率提升50%以上
2. rank-1轨迹判别性得分：轨迹方向的判别性得分提升30%以上，表明rank-1方向更贴合任务判别性
3. 推理基准提升：在7个数学推理基准上，相比GRPO均匀采样基线，平均准确率提升2-4个百分点（与DelTA的算法层面提升互补）
4. 信用分配准确性：步骤级奖励误归属率（参照SRaR指标）降低15%以上
5. 训练效率：达到同等性能所需训练步数减少30%（因判别性信号更高效）

定性目标

1. 建立RLVR训练数据的判别性结构理论，阐明数据组成→token梯度结构→rank-1轨迹方向的因果链
2. 提出判别性比率作为数据质量的新维度，补充现有难度/多样性维度
3. 开源判别性诊断工具包，支持任意RLVR训练数据的判别性画像分析

可能的影响

• 范式转换：将RLVR训练优化从”算法修补信用分配”转向”数据层面解决根因”，开创数据驱动的训练动力学优化方向
• 理论贡献：连接训练数据组成与参数空间轨迹结构的因果关系，为理解RLVR训练动力学提供数据视角
• 实践价值：判别性驱动策展可无缝集成到现有RLVR流水线（仅替换数据采样策略），不需修改训练算法

相关工作

1. DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards (Zhang et al., 2026) arXiv:2605.21467 — 揭示RLVR更新隐式充当token梯度线性判别器，共享高频模式稀释判别性方向。RANK-DISC将此发现从算法修复提升至数据策展层面。

2. RELEX: You Only Need Minimal RLVR Training — Extrapolating LLMs via Rank-1 Trajectories (Wei et al., 2026) arXiv:2605.21468 — 发现RLVR权重轨迹极度低秩（rank-1），大小近线性演化。RANK-DISC首次从数据工程视角优化rank-1方向的判别性质量。

3. SCRL: From Reasoning Chains to Verifiable Subproblems — Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning (Jiang et al., 2026) arXiv:2605.22074 — 通过子问题分解提供可验证中间信号，将难题从梯度死区中提升。RANK-DISC借鉴子问题分解思路，但以判别性比率为目标而非子问题可验证性。

4. SRaR: Step-wise Rubric Rewards for LLM Reasoning (Xie et al., 2026) arXiv:2605.17291 — 揭示步骤级奖励误归属的严重性（18.2%假正/49.9%假负），提出步骤级准则奖励。RANK-DISC从数据策展层面减少误归属的发生源头。

5. AcquisitionSynthesis: Targeted Data Generation using Acquisition Functions (Agarwal et al., 2026) arXiv:2605.13149 — 将主动学习的采集函数用作奖励模型指导合成数据生成。RANK-DISC的判别性比率门控可视为采集函数在token梯度判别性空间中的特化。