精读：Spurious Rewards——伪奖励为何也能驱动RLVR推理提升

1 论文概览

一句话总结：RLVR 在 Qwen 模型上使用完全随机甚至错误的奖励信号，仍能获得与真实奖励近似的数学推理性能提升——其根源是 GRPO 裁剪偏置放大了预训练习得的代码推理行为，而非奖励信号本身教会了模型新能力。

核心问题：RLVR 的性能提升究竟来自奖励信号引导的「学习」，还是来自对预训练已有能力的「激发」？当奖励信号完全失去信息量时，RLVR 还能提升性能吗？

主要贡献：

1. 实验发现范式级反直觉现象：在 Qwen2.5-Math-7B 上，随机奖励（+21.4%）、格式奖励（+13.8%）、错误标签奖励（+24.1%）几乎追平真实奖励（+29.1%）在 MATH-500 上的提升幅度
2. 识别代码推理作为关键先验行为：Qwen2.5-Math 模型在 RLVR 前即有 65% 概率使用 Python 代码推理（无执行器），RLVR 后频率飙升至 >90%，且代码推理准确率（60.9%）远高于自然语言推理（35.0%）
3. 揭示 GRPO 裁剪偏置机制：数学推导证明随机奖励下期望梯度为零，但 PPO 式裁剪引入非零偏置，放大高先验行为；消融实验确认移除裁剪后随机奖励完全失效
4. 跨模型验证的必要性警示：伪奖励仅在 Qwen 模型上有效，Llama3 和 OLMo2 几乎不受益甚至退化，直接挑战了大量仅在 Qwen 上验证的 RLVR 研究
5. 策略切换贡献分解：58.3% 的性能提升来自自然语言推理→代码推理的策略切换，而非推理能力的实质性增长

2 方法详解

2.1 实验框架：从标准奖励到虚假奖励

论文设计了一组递进修弱的奖励函数，系统性剥离奖励信号的信息量：

奖励类型	信息量	描述
Ground Truth	完整	标准RLVR：答案正确→1，否则→0
Majority Vote	弱	64次采样多数投票伪标签替代真实标签
Format	极弱	仅检查输出是否包含 \boxed{}，不验证正确性
Random	零	以概率 γ 随机赋值奖励，γ=0.5 为主实验
Incorrect	负	仅奖励与错误标签匹配的回答

训练统一使用 GRPO 算法（DeepSeek-Math, 2024），在 DeepScaleR 数据集上进行，所有超参数保持一致。

2.2 GRPO 裁剪偏置的数学推导

论文对随机奖励下 GRPO 为何仍能提供有效训练信号进行了严格分析：

第一步：期望优势为零

对于 i.i.d. 随机奖励（与 rollout 独立），组内相对归一化使得：

$\mathbb{E}[\hat{A}] = 0$

第二步：无裁剪时期望梯度为零

无裁剪目标函数的期望梯度：

$\mathbb{E}[\nabla_\theta \mathcal{L}_{\text{unclipped}}(\theta)] = \mathbb{E}[\hat{A}] \cdot \mathbb{E}[\text{梯度项}] = 0$

随机奖励在理论上不提供任何学习信号。

第三步：裁剪偏置引入非零梯度

GRPO 使用 PPO 式裁剪：$\min(\rho \cdot \hat{A}, \, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot \hat{A})$，其中 $\rho = \pi_\theta / \pi_{\text{old}}$。

裁剪偏置定义为：

$\text{Bias}(\nabla_\theta J(\theta)) = \mathbb{E}[\nabla_\theta J(\theta)] - \mathbb{E}[\nabla_\theta \mathcal{L}_{\text{unclipped}}(\theta)] = \mathbb{E}[\nabla_\theta J(\theta)]$

裁剪机制产生非对称更新：当 $\rho$ 偏离 1 且 $\hat{A}$ 为正时裁剪截断梯度，但为负时不截断（反之亦然），导致期望梯度不为零。这种偏置偏向利用（exploitation）而非探索——即放大模型已有的高先验行为。

消融验证：通过三种方法移除裁剪——(a) 直接禁用裁剪；(b) 增大 mini-batch 使 $\pi_\theta = \pi_{\text{old}}$；(c) 减少 rollout 大小。三种方法下随机奖励均不再产生稳健改进，代码推理频率也不系统性增长。

2.3 代码推理：Qwen 的隐藏优势

论文定义了代码推理（Code Reasoning）行为——模型在无代码执行器的情况下，通过自回归生成 Python 代码及模拟执行输出来辅助数学推理。

Qwen2.5-Math-7B 展现出惊人的代码推理能力：

• 初始代码推理频率：65.0%（vs Llama3/OLMo2 的 0%）
• 代码推理准确率：60.9% vs 自然语言推理：35.0%
• 能精确预测 3√13 到小数点后 15 位（比 iPhone 计算器多一位）
• RLVR 后代码频率升至 >90%，即使使用伪奖励

论文将模型分为三类：

类别	代表模型	代码频率	代码vs语言准确率	伪奖励效果
Effective Code	Qwen2.5-Math	53-65%	代码>>语言	显著正收益
Bad Code	Qwen2.5-7B, OLMo2-7B-SFT	92-98%	代码<<语言	负收益
No Code	Llama3, OLMo2-7B	0%	N/A	无收益

2.4 与基线方法的本质区别

传统 RLVR 研究假设奖励信号的质量直接决定性能提升——更好的奖励→更好的推理。本文的核心发现颠覆了这一假设：

• 传统观点：RLVR 通过奖励信号「教会」模型新推理能力
• 本文观点：RLVR（至少在 Qwen 上）主要通过裁剪偏置「放大」预训练已有的推理策略，奖励信号的角色被严重高估

3 实验结果

3.1 主实验：伪奖励的惊人效果

Qwen2.5-Math-7B 在 MATH-500 上的绝对提升：

奖励类型	MATH-500 提升	与 Ground Truth 的差距
Ground Truth	+29.1%	—
Majority Vote	+27.1%	-2.0%
1-shot RL	+26.0%	-3.1%
Incorrect Label	+24.1%	-5.0%
Random (γ=0.5)	+21.4%	-7.7%
Format	+13.8%	-15.3%

在更具挑战性的 AIME 2024 上，趋势一致但差距增大（Ground Truth: +15.3%，Random: +10.2%）。

Qwen2.5-Math-1.5B 呈现类似模式，但整体幅度略低。

3.2 跨模型验证：伪奖励的模型依赖性

模型	Ground Truth	Format	Incorrect	Random
Qwen2.5-Math-7B	+29.1	+13.8	+24.1	+21.4
Qwen2.5-7B	+33.3	+9.7	+28.5	+11.6
Llama3.1-8B-Instruct	+10.2	-7.3	+1.3	-4.9
OLMo2-7B	+7.4	-5.3	-3.1	-2.4

关键发现：伪奖励对非 Qwen 模型几乎无效甚至有害。Llama3 和 OLMo2 仅在 Ground Truth 奖励下获得稳健提升。

3.3 策略切换贡献分解

论文将 RLVR 前后的性能变化分解为四种策略切换：

切换类型	Qwen2.5-Math-7B 贡献	含义
Lang→Code	58.3%	从自然语言切换到代码推理
Code→Code	21.4%	保持代码推理但改善质量
Code→Lang	8.6%	从代码切换到自然语言
Lang→Lang	11.6%	保持自然语言但改善质量

「58.3% 的性能提升来自自然语言推理到代码推理的策略切换」——性能提升的本质不是推理能力的增长，而是推理策略的重新分配。

对比 Qwen2.5-7B（Bad Code 模型），93.9% 的提升来自 Code→Lang 切换——方向完全相反。

3.4 代码推理干预实验

提示干预（“Let’s solve this using Python.”）：

模型	原始准确率	提示后准确率	变化
Qwen2.5-Math-7B	49.4%	64.4%	+15.0%
Qwen2.5-Math-1.5B	36.2%	60.4%	+24.2%
Llama3.1-8B-Instruct	36.8%	15.2%	-21.6%
Qwen2.5-7B (Bad Code)	41.6%	22.2%	-19.4%

RL 干预（Python 关键词奖励）：Qwen2.5-Math-7B 在 20 步内代码频率 >99%，性能提升匹配甚至超越提示方法。

抑制代码推理（复合奖励：原始奖励 ∩ 无 Python 奖励）：

• Format 奖励 + 无 Python：性能提升消失
• Incorrect 奖励 + 无 Python：提升大幅减弱
• Ground Truth + 无 Python：仍有增益（真实奖励提供超越代码推理的价值）
• 对 Bad Code 模型（OLMo2-7B-SFT），复合奖励反而优于原始奖励

3.5 随机奖励概率的敏感性分析

测试 γ ∈ {0.7, 0.5, 0.3, 0.001, 0}：

• 所有 γ > 0 的配置均在 MATH-500 上获得 15-20 个百分点的提升
• γ = 0 时无任何改进（常数奖励→零梯度，符合理论预期）
• 收敛速度随 γ 变化，但最终性能相近

3.6 消融实验关键发现

1. 裁剪是随机奖励有效的前提：移除裁剪后，随机奖励不再产生稳健改进
2. 代码推理频率与准确率高度相关：两者在训练过程中同步增长
3. 预训练决定 RLVR 上限：Qwen2.5-Math 的代码推理能力来自预训练（大量代码辅助数学推理数据），非 RLVR 习得
4. 提示敏感性：Qwen2.5-Math-7B 对提示极其敏感——甚至任务无关提示有时也能产生高初始性能

4 个人分析

4.1 亮点

1. 实验设计的递进修弱范式

从 Ground Truth → Majority Vote → Format → Random → Incorrect，逐步剥离奖励信息量，构建了一条完整的「信息退化链」。这种实验设计使得归因极为清晰——每一步退化精确对应信息量的减少，同时保留了 GRPO 的算法结构不变。

2. 裁剪偏置的理论-实验双重验证

数学推导证明随机奖励下期望梯度为零，裁剪偏置是非零梯度的唯一来源；三种独立的消融方法（禁用裁剪、增大 batch、减少 rollout）一致确认移除裁剪后随机奖励失效。理论预测与实验验证的闭环极为严密。

3. 代码推理作为机制桥梁

代码推理的发现优雅地连接了「为什么伪奖励有效」和「为什么仅 Qwen 有效」两个问题：伪奖励通过裁剪偏置放大代码推理→仅 Qwen 有高质量的代码推理先验→因此仅 Qwen 受益。这一因果链条清晰且可证伪。

4. 对 TTRL 和 1-shot RL 的重新审视

论文指出近期备受关注的 TTRL（Test-Time Reinforcement Learning）和 1-shot RL 方法在 Qwen 上表现亮眼但在其他模型上失效，暗示这些方法的「创新」可能同样源于对 Qwen 预训练先验的放大，而非方法本身的优越性。

5. 社区影响力的实证

截至 2026 年 5 月，该论文在 Google Scholar 上已被引用 155+ 次，Google DeepMind 研究科学家 Xidong Feng 评价其「会让一大堆 LLM+RL 的研究受到质疑」，Andrew Lampinen 称其为「反常识的典型案例」。36 氪、新智元等中文科技媒体广泛报道。

4.2 局限性

1. 机制解释仍不完整

裁剪偏置解释了随机奖励为何有效，但未能完全解释格式奖励和错误标签奖励的机制——这两者提供的信号并非零信息量。错误标签奖励（+24.1%）甚至超过格式奖励（+13.8%），暗示可能存在裁剪偏置之外的机制（如错误标签中的部分正确推理信号），论文对此仅做了初步假设。

2. 「代码推理」的定义偏粗

代码推理的检测基于输出是否包含 Python 代码，但未深入分析代码推理的「质量」差异。Qwen2.5-Math 的代码推理准确率为何远高于 OLMo2-7B-SFT？是因为预训练数据中代码辅助推理的比例更高，还是代码生成质量更好？这一关键区分未被充分拆解。

3. 预训练数据验证缺失

论文假设代码推理能力来自预训练中大量代码辅助数学推理数据，但未提供直接证据。对预训练数据的分析或 controlled pretraining 实验将大幅增强论证力度。

4. 仅覆盖 GRPO 一种算法

所有实验基于 GRPO。其他 RLVR 算法（如 REINFORCE++、PPO 变体）是否同样存在裁剪偏置效应？论文未做横向比较。

5. 评估基准偏窄

主要评估集中在数学推理（MATH-500、AMC、AIME），未探索代码生成、科学推理等领域的伪奖励效应是否类似。

4.3 对大模型领域的影响

短期：实验方法论修正

大量仅在 Qwen 模型上验证的 RLVR 论文需要重新审视其结论的普遍性。社区需要建立多模型验证的标准实践，避免「Qwen 特效」被误认为方法创新。

中期：预训练-后训练统一视角

论文的核心洞见——RLVR 主要放大预训练先验而非教授新能力——要求我们将预训练数据设计和后训练 RL 策略作为统一系统来考量。预训练中注入的推理策略（如代码推理）直接决定了后训练 RL 的有效性和天花板。

长期：RLVR 本质的重新定义

如果随机奖励就能获得近 3/4 的真实奖励增益，那么 RLVR 的核心价值究竟是什么？是与 LPO 论文共同指向的「我们对 RLVR 理解远比想象中浅薄」，还是 RLVR 根本上应被重新框架化为「先验行为选择器」而非「能力学习器」？这一重新定义可能改变整个后训练范式的研发方向。

5 实践启示

5.1 可以借鉴的技术

1. 递进修弱的奖励设计范式

在评估任何新 RLVR 方法时，构建从完整信号到零信号的奖励退化链，验证方法改进是否真正来自信号质量的提升而非算法偏置的放大。这是检测「Qwen 特效」的简便手段。

2. 策略切换贡献分解

将性能变化分解为策略切换（Lang→Code、Code→Lang 等）的贡献比例，可以精确诊断 RLVR 的实际作用机制——是切换推理策略还是提升已有策略质量。这一分析框架可直接复用。

3. 裁剪偏置作为诊断工具

裁剪偏置的存在本身可以成为诊断工具：如果移除裁剪后方法失效，说明改进主要来自先验放大而非信号学习。

4. 代码推理频率作为代理指标

代码推理频率与数学推理性能的高度相关性，可作为训练过程中的早期信号——如果代码推理频率未增长但性能提升，才更可能是信号驱动的真实学习。

5.2 潜在应用场景

1. 低成本 RLVR 启动

对于已具备有效代码推理先验的模型（如 Qwen-Math 系列），Format 奖励（仅检查 \boxed{} 格式）即可获得接近 Ground Truth 一半的增益，可在标注资源受限时作为 RLVR 冷启动策略。

2. 预训练数据质量审计

如果一个模型在伪奖励下表现异常好，可能暗示其预训练数据中存在大量与目标任务高度相关的推理范式。这可作为预训练数据质量的间接审计信号。

3. 模型选型决策

选择 RLVR 基座模型时，应优先考察其预训练阶段是否已习得目标推理域的有效策略先验。无有效先验的模型（如 Llama3 在数学代码推理上）即使使用真实奖励，增益也远低于有先验的模型。

4. 复合奖励设计

对 Bad Code 模型（如 Qwen2.5-7B、OLMo2-7B-SFT），复合奖励（原始奖励 ∩ 抑制低质量代码推理）可能优于单一奖励——抑制低效策略有时比强化高效策略更重要。

---

编者评：这篇论文是 2025 年 RLVR 领域最具颠覆性的研究之一。它用极简的实验设计——递进修弱奖励信号——揭开了 RLVR 表面之下的深层机制：在 Qwen 模型上，大量被归功于「奖励信号引导学习」的性能提升，实质上是 GRPO 裁剪偏置对预训练先验的放大。这一发现与此前精读的 LPO（将 GRPO 重新框架化为响应单纯形上的目标投影）和 Sparse Policy Selection（揭示 RL 仅校正 1-3% 高熵决策点）共同构成了一条清晰的认知演进线：我们对 RLVR 的理解正在从「RL 教会模型新能力」向「RL 选择和放大预训练已有能力」的范式转移。

论文最深刻的警示不在实验本身，而在其实践含义——当一个领域的方法验证几乎全部依赖单一模型家族时，算法偏置与模型特有效应的混淆就成为了系统性风险。Qwen 的代码推理先验是预训练设计的产物，而非 RLVR 的功劳；将 Qwen 上的增益推广为方法创新，无异于在流沙上建塔。未来的 RLVR 研究需要多模型验证作为基本方法论要求，正如医学实验不能只在单一人群上得出普适结论。