论文精读

精读：RLVR 奖励套件的泄漏陷阱

预注册因果实验揭示代码 RLVR 中 47.57% 泄漏奖励流向真正错误代码，机制为选择而非学习

论文： When the Reward Suite Is Leaky: A Preregistered Causal Contrast of Natural Verifier False Positives in RLVR

作者： Chuyifei Zhang

2026年7月16日 RLVR 奖励泄漏代码生成因果推断预注册 GRPO 假阳性奖励黑客

1 论文概览

一句话总结：通过预注册的双臂因果对比实验，揭示代码 RLVR 中部署测试套件的自然假阳性并非随机噪声而是持久性结构缺陷——约 47.57% 的泄漏奖励流向真正错误的代码，但机制是选择已有错误模式而非学习新错误，且廉价静态审计可在训练前精准预测泄漏位置。

核心问题：RLVR 将测试通过视为真实信号，但部署的代码测试套件存在系统性”自然假阳性”——同一错误程序每次都会通过弱测试。这种非对称、持久的验证错误与现有噪声鲁棒性分析假设的随机翻转截然不同，它对 RLVR 训练究竟产生什么因果影响？

主要贡献：

首个预注册因果实验：在三个模型家族上运行双臂 GRPO（leaky vs hardened），隔离部署套件自然假阳性对训练的因果效应——平均 held-out 效应被 1.5pt 非劣效边距约束
泄漏可预测性：训练前 16 次基础模型采样的静态泄漏分数与训练时 FP 质量分布 Spearman 相关 0.80，无需实际训练即可定位风险
泄漏流向审计：穷举人工审计 2821 个假阳性记录，47.57% 为真正错误代码（非套件伪影），三家族复制
选择而非学习的机制证据：FP 率从 step 0 即稳定，未训练基础模型已产生相同错误输出，训练增加的是频率而非形状
前沿法官元审计：两个前沿模型（DeepSeek-V4-Pro、MiMo-v2.5-Pro）对自己假阳性的判断能力远弱于对较弱策略错误的判断

2 方法详解

架构/方法概述

论文核心是一个预注册双臂因果对比设计：

                    ┌─ Leaky Arm: MBPP原始测试作为奖励
GRPO (相同种子/任务) ┤
                    └─ Hardened Arm: MBPP+额外测试作为奖励

关键设计约束：

5 个种子 × 400 步 × 2 臂，唯一差异是奖励套件
家族 A（Qwen2.5-Coder-1.5B-Instruct）为主实验
家族 B（deepseek-coder-1.3b-instruct）和 C（Llama-3.2-1B-Instruct）在预注册冻结后执行复制
评估始终用 MBPP+ 额外测试（而非训练时套件），消除测量偏差

静态审计：训练前，每个任务从基础模型抽取 16 个样本，通过 MBPP 但失败 MBPP+ 的比例即为”泄漏度”——这是一个零成本训练前诊断。

关键创新点

1. 预注册方法论的引入

这在 LLM 研究中极为罕见。论文经历了三次预注册迭代：

V1：冻结分割、非劣效边距、种子数。启动门（24 个 FP 的手工审计）因 8/24 判决依赖测试套件属性而作废
V2：用穷举审计替换采样门，增加门功率规则
V3：注册家族 B 和 C、复制标准

“Three preregistration versions… The audit went through four signing generations: 68.84% → 59.91% → 47.57%.”

每次审计都让估计值下降，因为更仔细的审查将更多”看似验证错误”的代码重新归类为套件伪影或规范约定不匹配。这种审计收敛性本身就是方法论的贡献——它展示了表面数字如何随审查深度而修正。

2. 自然假阳性 vs 标签噪声的精确区分

现有 RLVR 噪声鲁棒性研究（如 Plesner et al. 2026 的 15% 容忍分析）假设随机翻转的 pass/fail 信号，每次重新采样会平均化。但自然假阳性有三个独特性质：

维度	随机噪声	自然假阳性
对称性	双向（TP↔FN, TN↔FP）	单向（仅错误代码获奖励）
持久性	每次重新采样	同一错误程序每次都通过
任务依赖	均匀	逐任务差异巨大

这意味着持久 FP 不会在训练中平均化——它是一种结构性偏差而非随机噪声。

3. 基础模型控制实验

这是全文方法论的点睛之笔：在未训练基础模型上施加相同的泄漏过滤，如果基础模型已产生与训练后相同的错误输出，则证明泄漏过滤器在做选择而非教导。

与基线方法的区别

本论文不与特定算法比较，而是与因果缺失比较——此前所有关于 RLVR 验证器缺陷的研究要么只审计套件本身（Rajan 2026），要么只研究随机噪声（Plesner et al. 2026），从未运行从套件缺陷到训练影响的因果实验。

论文将自身定位在 Rad et al. (2026) 的 Youden 指数相变图上：J = TPR - FPR > 0 时错误模式应消亡。部署但弱的套件位于 J > 0 区域，预测无误放大，这与三家族测量结果一致。

3 实验结果

主要指标

指标	家族 A (Qwen-1.5B)	家族 B (dsc-1.3b)	家族 C (Llama-1B)
Held-out 差距（硬化-泄漏）	+0.20pt	-	-
95% 上界	0.75pt	-	-
静态审计 Spearman ρ	0.803 [0.74, 0.85]	0.813 [0.76, 0.86]	0.700 [0.62, 0.77]
训练端泄漏层差距	+43.8pt	+45.6pt	+34.4pt
验证错误份额	47.57% [36.4, 60.5]	45.37% [43.20, 47.52]	62.78% [61.78, 63.75]
FP 质量趋势	持平	下降	持平
奖励膨胀	8.37pt	-	-

与 SOTA 的对比

这不是常规 SOTA 对比论文，而是因果诊断论文。但以下对比尤为关键：

Rajan (2026)：审计 SWE-bench Verified 和 R2E-Gym 套件，发现 25-28.5% 任务接受错误补丁——但只测量了套件，未测量训练影响。本文填补了这个因果空白。
Plesner et al. (2026)：RLVR 容忍 15% 对称噪声——但自然 FP 不是对称噪声，持久且单向，不会平均化。
Egashira et al. (2026)：系统假阳性导致从次优到崩溃——但在不同参数区域，本文的部署套件位于更温和的 Youden > 0 区域。

消融实验关键发现

1. FP 质量不增长（反驳学习假说）

FP 质量从 14.5% → 15.2%（趋势 CI90 [-0.012, +0.026] 包含零）。800 步延伸实验中，FP-only 份额斜率无一排除零。

2. 基础模型控制实验（决定性测试）

11 个泄漏通道中 9 个，基础模型 FP 子集以等于或高于训练率重现通道特征错误输出。

“The leaky filter, not training, does the selecting.”

这是全文最精彩的消融——它将”训练制造了新错误”与”训练选择了已有错误”干净地分离开来。

3. 优势结构分析

全泄漏任务混合奖励组中，94.6% 奖励完成是 FP，仅 14.9% 组包含至少一个诚实解用于对比（干净任务 98.8%）。FP 和真正通过获得相同奖励，组相对优势无法分离两者——这精确连接了 Sparse Policy Selection 的发现：RLVR 在没有对比信号时只能放大先验。

4. 前沿法官元审计

读者	自我评估 AUC	异源锚点 AUC	差距
DeepSeek-V4-Pro	.617 [.555, .679]	.894 [.847, .936]	-.276
MiMo-v2.5-Pro	.639 [.590, .690]	.786 [.710, .860]	-.148

前沿模型对自己产生的错误判断能力远弱于对较弱策略错误的判断——错误可读性可能不随生成器强度免费扩展。交叉判断解混淆实验的结果为 UNRESOLVED，诚实度极高。

4 个人分析

亮点

1. 方法论的黄金标准

预注册在 LLM 研究中几乎不存在。三次预注册迭代 + 四次审计签名代收敛 + 明确标注确认性[C]和探索性[E]声明——这是医学试验级别的方法论严谨性，在 2026 年的 LLM 论文生态中极为罕见。

2. “选择而非学习”的机制洞见

这个发现与 Sparse Policy Selection（仅 1-3% 高熵决策点被校正）和 Spurious Rewards（裁剪偏置放大预训练先验）形成三重呼应：RLVR 的主要作用模式是选择和放大已有行为，而非创造新行为。当奖励信号被污染时，这种选择机制同样运作——只是选择了错误的已有行为。

3. 静态审计的工程价值

训练前 16 次采样即可预测泄漏位置（Spearman 0.80），这直接可集成到 RLVR 训练流水线中作为预处理步骤。成本极低，价值极高。

4. 单作者论文的非凡质量

仅凭一位作者完成了预注册设计、三家族实验、穷举审计、元审计——这种工作量和严谨度在当前 LLM 论文生态中极其罕见。作者对每项声明都标注了确认性/探索性边界，对局限性的讨论篇幅接近正文的 15%。

局限性

1. 规模与视野的约束

400 步 GRPO、1-1.5B 模型——作者诚实地标注了这个边界。在更大模型和更长训练下，泄漏是否会累积成更严重的偏差？Youden 指数框架预测不会，但这仍是外推。

2. 评估端分层的因果缺失

训练端泄漏层差距（+43.8pt）是确认性的，但评估端暴露差距（+1.60pt）仅是关联性的。作者四次标注”无因果句”——分离”泄漏损害”与”其他原因吸引 FP”的设计被阻止。这是论文最诚实的局限。

3. Held-out 效应不跨家族转移

家族 B 和 C 与家族 A 的评估端任务级效应相关为 -0.216。这意味着泄漏的下游影响高度依赖模型-套件交互，不存在简单的通用规律。

4. 元审计的有限推广性

仅两个前沿模型在 MBPP 上——作者明确标注”不推广至前沿模型一般”。交叉判断解混淆为 UNRESOLVED，自我评估实验的 Holm 校正仅一个模型存活。

对大模型领域的影响

对 RLVR 研究范式的影响：本文与 Spurious Rewards、LPO、RELEX、STARE、FADE、UP 共同构成一条论证链——我们对 RLVR 奖励信号的理解远比想象中浅薄。不仅是”奖励模型不够好”或”裁剪有偏置”，而是最基础的验证信号（测试通过）本身就有结构性盲区。

对代码 RLVR 实践的直接影响：

任何使用固定测试套件的代码 RLVR 训练都应先运行静态泄漏审计
MBPP+ 额外测试应作为评估标准（而非仅训练标准）
奖励设计应考虑组内对比信号的可用性（14.9% vs 98.8% 的诚实解占比差异）

对 AI 安全评估的启示：前沿模型对自己错误的弱判断能力暗示，自我评估在验证质量上存在不可忽视的盲区——这与 AI 情感科学中”模式匹配派”的测量假象警告形成跨领域呼应。

5 实践启示

可以借鉴的技术

1. 静态泄漏审计协议

for each task in training_suite:
    samples = base_model.generate(task, n=16)
    leakiness = count(pass_weak_test(s) & fail_hard_test(s)) / n
    if leakiness > threshold:
        flag_task_for_review()

训练前 16 次采样 + 弱/强测试对比即可预测泄漏位置，零额外训练成本。建议集成到所有代码 RLVR 训练流水线中。

2. 确认性/探索性声明标注

论文对每个核心发现标注 [C]（确认性，预注册覆盖）或 [E]（探索性，预注册未覆盖）。这种做法直接解决了 LLM 论文中常见的”结果驱动叙述”问题，建议社区广泛采纳。

3. 基础模型控制实验范式

在任何”训练是否改变了行为”的因果判断中，先检查未训练基础模型是否已产生相同行为——这是一个极简但极有力的消融设计。

4. 审计收敛性追踪

四次签名代的 68.84% → 59.91% → 47.57% 收敛展示了表面数字如何随审查深度修正。建议所有人工审计都追踪这种收敛曲线，而非只报告最终数字。

潜在应用场景

代码 RLVR 训练前质检：集成静态泄漏审计到训练流水线，自动标记高风险任务
基准测试质量认证：对代码基准进行泄漏度评分，作为使用前的质量门控
RLVR 训练监控：训练中跟踪 FP 质量趋势，如果上升则触发警告（但本文表明上升不太可能，所以更应关注静态审计）
AI 安全评估框架：将前沿法官的自我评估盲区纳入安全评估协议，不将自我评估作为唯一审计手段
奖励信号工程：组相对优势在 FP 占比 94.6% 时失效——设计奖励时应确保对比信号可用性