研究提案已修订

面向迭代对齐训练的过程奖励鲁棒性退化诊断与准则锚定校准

诊断迭代RL训练中过程奖励模型的三类鲁棒性退化模式（流式-逻辑解耦、奖励景观膨胀、风格捷径寄生），提出准则锚定的周期性校准框架PRM-GUARD

2026年5月11日过程奖励模型迭代对齐奖励鲁棒性 RLHF 奖励黑客 PRM退化准则锚定校准

背景与动机

过程奖励模型（Process Reward Model, PRM）正快速成为大语言模型推理管道的核心基础设施，用于在训练时提供步骤级细粒度奖励信号，在推理时进行搜索引导与结果验证。然而，当PRM被置于迭代对齐训练闭环中——即策略生成的数据反哺奖励模型的更新——其鲁棒性面临系统性退化风险。

近期多项研究揭示了这一风险的多个侧面：

对齐坍缩（Gauthier et al., 2605.04266）：在迭代RLHF中，策略系统性地利用奖励模型的盲点，产生低质量但高奖励的输出，反馈进一步强化这些盲点，形成自我加强的退化闭环。作者提出FPO通过恢复参数引导项来缓解，但未涉及过程级奖励的退化。
PRM可攻击性（Tiwari et al., 2603.06621）：揭示了最先进的PRM存在”流式-逻辑解耦”（fluency-logic dissociation）——对表面风格变化近乎不变，却对逻辑错误的检测不一致；更严重的是，基于RL训练的策略在AIME问题上获得近完美的PRM奖励（>0.9），而真实准确率低于4%，43%的奖励增量来自风格捷径。
校准坍缩（Sahoo, 2604.10585）：谄媚性奖励信号导致模型校准系统性退化，即使在事后仿射校正后仍残留结构化失准，表明奖励诱导的失准具有不可简单逆转的深层影响。
结构化准则奖励（Bhattarai et al., 2605.08061）：Rubric-Grounded RL展示了基于多维准则的结构化奖励可以提升泛化推理能力，但未考虑迭代训练中准则本身的退化问题。

上述工作分别从不同角度触及了迭代训练中奖励退化的问题，但缺乏一个统一的诊断框架来系统性识别、量化并修复PRM在迭代闭环中的鲁棒性退化。核心问题在于：当策略与PRM在迭代中共进化时，PRM的判断标准如何漂移？漂移的模式是什么？如何在不中断训练的情况下主动校准？

核心思路

本文提出 PRM-GUARD（Process Reward Model Guarded Update with Anchored Rubric Diagnostics），一个面向迭代对齐训练的过程奖励鲁棒性退化诊断与准则锚定校准框架。

核心洞察：PRM在迭代训练中的退化不是均匀的，而是沿着三条可诊断的轴系统性展开——流式-逻辑解耦轴、奖励景观膨胀轴、风格捷径寄生轴。 每条轴有不同的退化动力学，需要针对性的诊断探针和校准策略。

与现有工作的关键区别：

vs. FPO（2605.04266）：FPO在策略-奖励交互的宏观层面（参数引导项）缓解对齐坍缩，而PRM-GUARD在过程奖励的微观层面（步骤级判断退化）进行诊断和校准，二者互补。
vs. Reward Under Attack（2603.06621）：该工作揭示了PRM的脆弱性但未提出迭代训练中的防御机制；PRM-GUARD将其发现的”流式-逻辑解耦”作为退化轴之一纳入持续诊断闭环。
vs. Rubric-Grounded RL（2605.08061）：该工作使用静态准则生成奖励；PRM-GUARD将准则本身视为需要锚定校准的动态对象，提出准则保真度监控和周期性校准。
vs. Calibration Collapse（2604.10585）：该工作关注最终输出的校准退化；PRM-GUARD关注中间步骤判断的鲁棒性退化，粒度更细且与训练过程耦合。

技术路线

第一阶段：退化轴形式化与诊断探针设计

步骤1：三条退化轴的形式化定义

流式-逻辑解耦轴（F-L轴）：定义 $D_{FL}(\text{PRM}) = \mathbb{E}_{(x,\hat{y})\sim\mathcal{A}}[r_\theta(x, \hat{y})] - \mathbb{E}_{(x,y^*)\sim\mathcal{V}}[r_\theta(x, y^*)]$ ，其中 $\mathcal{A}$ 为仅风格正确但逻辑错误的对抗样本集， $\mathcal{V}$ 为逻辑正确的验证集。该轴衡量PRM对风格与逻辑的区分能力退化。
奖励景观膨胀轴（L-E轴）：定义 $D_{LE}(\text{PRM}) = \text{Vol}(\{(x,y): r_\theta(x,y) > \tau_{high}\}) / \text{Vol}(\{(x,y): \text{Acc}(x,y) = 1\})$ ，衡量高奖励区域相对于真实正确区域的膨胀程度。景观膨胀意味着PRM对低质量轨迹过度慷慨地分配高奖励。
风格捷径寄生轴（S-P轴）：定义 $D_{SP}(\text{PRM}) = \frac{\Delta r_{style}}{\Delta r_{logic}}$ ，其中 $\Delta r_{style}$ 为仅改变风格（措辞、格式）的奖励变化， $\Delta r_{logic}$ 为仅改变逻辑正确性的奖励变化。当该比值超过阈值时，表明PRM已被风格捷径寄生。

步骤2：诊断探针合成

为每条退化轴设计对抗性探针数据集：

F-L探针：对正确推理轨迹进行逻辑扰动（替换中间步骤结论但保持行文流畅性），检测PRM是否能区分
L-E探针：生成边界案例（near-miss trajectories），绘制奖励等高线检测景观膨胀
S-P探针：对同一条轨迹生成风格变体（正式vs口语、详细vs简洁），检测奖励差异

第二阶段：准则锚定校准机制

步骤3：准则锚点构建

从可验证的外部信号中提取准则锚点：

数学/代码域：执行验证器（execution verifier）的二元判定
科学推理域：已验证的教科书推理链
通用域：交叉验证的多PRM一致性信号

准则锚点 $R^*$ 是慢变的（每 $K$ 轮迭代更新一次），与快速变化的PRM参数 $R_\theta$ 形成双时间尺度系统。

步骤4：周期性校准算法

对每轮迭代 t = 1, 2, ...:
  1. 在当前策略π_t上收集轨迹
  2. 用当前PRM R_θ^t 计算过程奖励
  3. 用策略梯度更新π_t → π_{t+1}
  4. 每 K 轮运行诊断探针:
     a. 计算 D_FL, D_LE, D_SP
     b. 若任一轴超过阈值 θ_d:
        - 生成校准数据: (锚点轨迹, 锚点准则评分)
        - 执行准则锚定微调:
          L_cal = α·L_task + β·L_anchor + γ·L_div
          其中 L_anchor = ||R_θ(x, y) - R^*(x, y)||²
          L_div 防止灾难性遗忘
     c. 更新准则锚点 R^*（仅当外部验证器可用时）

步骤5：选择性轴修复

不同退化轴触发不同的校准策略：

F-L轴退化：注入逻辑扰动-标签对，增强PRM的逻辑敏感度
L-E轴退化：收紧高奖励阈值，增加边界案例的负样本
S-P轴退化：注入风格不变性训练数据，强制PRM对风格变化鲁棒

第三阶段：退化-校准动力学分析

步骤6：理论分析

将策略-PRM共进化建模为双人Stackelberg博弈的扩展：

策略为追随者，在给定PRM下最大化奖励
PRM为领导者，通过准则锚定校准防止退化
证明：在温和正则条件下，准则锚定校准确保F-L、L-E、S-P三条轴的退化速率有界

步骤7：退化预测与预防

基于历史退化轨迹拟合退化动力学模型，预测未来退化风险：

当预测退化将在 $T$ 轮内超过阈值时，提前触发校准
通过课程调度校准强度（早期弱校准→后期强校准），避免过度约束训练

关键技术挑战

探针合成质量：对抗性探针需要足够强以暴露退化，但不能引入分布外偏差；需要开发受控扰动技术
准则锚点漂移：外部验证器本身可能存在边界模糊（如代码的多种正确实现），需要处理锚点的不确定性
校准-训练干扰：准则锚定微调可能干扰PRM从新数据中学到的有效更新，需要精细的权重调度
计算开销：周期性诊断和校准引入额外计算，需要设计轻量级探针和增量校准策略
多域泛化：退化模式可能在不同推理域（数学、代码、科学）中表现不同，需要域感知的诊断

预期成果

定量目标

退化检测：在3轮以上迭代训练后，对三条退化轴的诊断准确率 > 85%
退化预防：相比无校准基线，F-L解耦度降低 ≥ 40%，L-E膨胀率降低 ≥ 35%，S-P寄生比降低 ≥ 50%
训练效率：校准引入的计算开销 < 总训练成本的 15%
下游任务：在MATH-500、HumanEval+、GPQA等基准上，经PRM-GUARD校准的策略相比无校准基线，pass@1提升 ≥ 5%

定性目标

建立PRM鲁棒性退化的统一分类学，为后续研究提供共享词汇和诊断工具
揭示三条退化轴的交互动力学——如L-E膨胀如何加速F-L解耦
为”何时校准、校准多强”提供可操作的自适应调度策略

可能的影响

训练可靠性：为迭代对齐训练提供过程级的安全保障，防止PRM退化导致的”奖励虚高-质量虚低”陷阱
基础设施贡献：开源PRM退化诊断工具包，成为迭代RL训练管道的标准组件
理论拓展：为策略-奖励共进化的博弈论分析提供过程级的精细化框架，补充FPO的参数级分析