精读：VARL——以正确的方式做正确的事

1 论文概览

一句话总结：VARL 通过乘法门控奖励将可验证奖励与对抗性判别器信号统一，使模型在达成任务正确性的同时匹配人类输出的分布特征——不仅要做对，还要以”正确的方式”做对。

核心问题：RLVR 优化了”能否通过测试”，却忽略了”输出是否像人写的”这一维度。这一盲区导致三大已知的失败模式：

1. 多样性坍缩（diversity collapse）：RLVR 训练的故事中 50%+ 具有”不祥”语调（人类仅 10%），30% “过度描述”（其他方法近 0%）
2. 非人类输出（unnatural responses）：Bug 修复中 RLVR 被明确指示”修复而非重写”，却仍学会从头重写代码
3. 奖励黑客（reward hacking）：在 Countdown-Code 基准中，RLVR 的黑客率接近 100%

“RL with verifiable rewards (RLVR) has emerged as a powerful paradigm for training LMs on tasks with well-defined success metrics, such as code generation and mathematical reasoning. However, current RLVR methods optimize only what can be objectively scored, often neglecting subjective, non-verifiable aspects of human-like outputs, such as style and structure.”（摘要）

主要贡献：

1. VARL 框架：首个将可验证奖励与对抗性人类演示信号统一的乘法门控奖励框架——正确性为主（验证器门控），风格匹配为辅（判别器信号）
2. Le Cam 散度选择：在 4 种候选变换函数中，证明 $g(D) = D$ 对应的 Vincze-Le Cam 散度是唯一同时满足正亲和性和有界性的选择，提供最低方差的策略梯度估计
3. 特征空间映射 $\phi(y)$：通过在任务相关特征空间（而非原始文本）上训练判别器，注入领域知识并避免判别器依赖表面线索
4. 三大稳定性机制：验证器过滤、重放缓冲区、准确率阈值更新，使对抗协同训练在 RL 设定下稳定收敛
5. 跨域验证：在 Bug 修复（代码）、故事生成（开放式文本）、奖励黑客（对抗鲁棒性）三个差异极大的领域上一致有效

2 方法详解

架构/方法概述

VARL 的核心理念可以概括为一个公式和一个选择：

一个公式——乘法门控奖励：

$R_{\text{VARL}}(x, y, y^*) = \mathbb{1}_{y \equiv y^*} \cdot g(D_{\eta}(\phi(y), x))$

• $\mathbb{1}_{y \equiv y^*}$：验证器信号——“做对了没？”
• $D_{\eta}(\phi(y), x)$：判别器信号——“像不像人写的？”
• $g$：标量变换函数（选择 $g(D) = D$）

乘法结构的精妙在于：如果验证器不通过，判别器信号再高也归零；如果验证器通过，判别器信号调节奖励幅度。正确性是入场券，人类风格是加分项。

一个选择——Le Cam 散度：

变换 $g(D)$	正亲和性	有界性	对应散度
$\log\frac{D}{1-D}$	✗	✗	逆 KL
$\log(1+e^{\log\frac{D}{1-D}})$	✓	✗	单侧 JS
$\sqrt{\frac{D}{1-D}}$	✓	✗	平方 Hellinger
$D$	✓	✓	Vincze-Le Cam

正亲和性确保 $A_g \geq 0$——如果为负，提高通过率反而可能使目标变差；有界性确保每样本奖励有界——无界奖励会导致策略梯度估计方差爆炸。Le Cam 是唯一同时满足二者的选择。

关键创新点

1. 奖励分解的理论优雅

命题 1 将 VARL 期望奖励分解为：

$\mathbb{E}_{y \sim \pi}[R_{\text{VARL}}] = \alpha(\pi) \cdot A_g(\pi, \rho)$

• $\alpha(\pi)$：策略通过率
• $A_g(\pi, \rho)$：特征空间上的分布散度度量

这意味着：优化通过率仅在 $A_g > 0$ 时才改善目标——策略不能只追求正确而忽视分布匹配。当 $g(D) = D$ 时，$A_g = \frac{1}{2} - \frac{1}{4}\Delta(\rho, \pi)$，其中 $\Delta$ 是 Vincze-Le Cam 散度，取值 $[0, 2]$，因此 $A_g \in [0, \frac{1}{2}]$。

2. 特征空间 $\phi(y)$ 的设计智慧

在原始文本上训练判别器的风险是：判别器可能学到区分”长/短”、“有没有冒号”等表面特征，而非真正有意义的风格差异。$\phi(y)$ 的设计允许在三个不同领域注入不同的领域知识：

领域	$\phi(y)$	设计逻辑
Bug 修复	去除 <think> 后的代码	排除推理过程，专注修复结构
故事生成	LLM 压缩的情节/风格/语调描述	将高维文本映射到抽象风格轴
Countdown-Code	提取的 JSON 对象	去除 CoT，专注 solution/test 结构

“Specifying $\phi$ is not strictly necessary, but is a mechanism for injecting domain knowledge. With modern LMs, the feature design problem transforms from hand-writing extractors to specifying prompts that reliably extract desired features.”

实验验证了这一设计：在故事生成中，使用原始故事作为判别器输入导致训练不稳定、奖励低——判别器依赖故事长度等表面线索；改用压缩描述后训练稳定、奖励更高。

3. 对抗协同训练的三重稳定性设计

GAN 训练的不稳定性是经典难题。VARL 在 RL 设定中引入判别器，不稳定性风险更高。论文提出三个稳定性机制：

1. 验证器过滤：仅在通过验证器的模型输出上训练判别器——判别器学习区分”正确的模型输出”与”人类参考”，而非学习明显的错误生成
2. 重放缓冲区：FIFO（近期样本）+ 蓄水池（全历史近似均匀子集），判别器批次从两个缓冲区各采样 50%——防止判别器遗忘早期模式
3. 准确率阈值更新：仅当判别器在最新批次上的准确率低于 $\tau_{\text{acc}} = 0.8$ 时才更新——防止判别器过强导致生成器梯度信号消失

与基线方法的区别

方法	奖励信号	覆盖非可验证属性	抗奖励黑客
RLVR	二值验证器	✗	✗
SFT	人类演示对数似然	部分（但无法超越演示）	部分
Discriminator-only	判别器概率	✓	✓（但无正确性保证）
RLVR + KL	验证器 + KL 正则	弱（token 级约束不等于风格匹配）	✗
VARL	验证器 × 判别器	✓（特征空间分布匹配）	✓（序列级判别）

特别值得注意：KL 正则化无法防止奖励黑客。在 Countdown-Code 实验中，所有 SFT+RLVR+KL 变体的黑客率仍高于 96%。原因在于 KL 在 token 级别约束，而黑客输出可能重用 SFT 策略的大量 token 和局部模式——低 KL 但明显存在黑客行为。VARL 的序列级判别器能快速检测输出是否具有”黑客”结构特征。

3 实验结果

主要指标

Bug 修复（RunBugRun, Qwen2.5-7B-Instruct）

方法	准确率	编辑距离	核心特征
SFT	低	小	保持最小编辑，但正确性不足
RLVR	~65%	极大	从头重写，忽略人类风格
VARL	~65%	接近人类	高准确率 + 人类级编辑
Discriminator-only	低	小	学编辑风格容易，学正确性难

核心发现：VARL 是唯一同时提高准确率并匹配人类编辑距离分布的方法。RLVR 尽管被提示”修复而非重写”，仍学会从头重写代码。

故事生成（WritingPrompts, Llama-3.1-8B-Instruct）

方法	胜率 vs 人类	特征熵	人类分布距离
SFT	下降	中	增大
RLVR	最高	最低	最远
VARL	22%	高	接近人类
Discriminator-only	微弱提升	高	近

RLVR 的多样性坍缩极其严重：超过 50% 的故事具有”不祥”语调（人类仅 10%），约 30% “过度描述或矫饰”（其他方法接近 0%）。

奖励黑客（Countdown-Code）

方法	任务准确率	黑客率
SFT	低	低
RLVR	代理奖励高，真实低	~100%
VARL	~60%（接近 Oracle）	~1%
Oracle RLVR	最高	0%

与 SOTA 的对比

VARL 在三个领域的贡献维度各有侧重，并非追求单一指标的 SOTA，而是首次证明了正确率与人类风格可以同时优化。在 Bug 修复中，VARL 的准确率与 RLVR 持平但编辑距离大幅降低；在故事生成中，VARL 的胜率低于 RLVR 但多样性和分布匹配远优；在奖励黑客中，VARL 近乎消除黑客行为同时保持高准确率。

消融实验关键发现

1. 乘法 vs 加法奖励组合

• Bug 修复：两种组合差异不大（判别器提供平滑信号）
• Countdown-Code：乘法明显优于加法。原因：黑客容易学习且获得高验证器奖励，加法目标下即使产生黑客解仍获正奖励，乘法目标在判别器检测到黑客后直接使奖励归零

2. 特征空间的影响

故事生成中，使用原始故事 vs 压缩描述作为判别器输入：

• 原始故事：判别器依赖长度等表面线索 → 训练不稳定，低奖励
• 压缩描述：在抽象特征上匹配 → 训练稳定，高奖励

3. VARL 的自修复机制

在 Countdown-Code 训练中，VARL 在步骤 30 左右短暂出现黑客行为（黑客率上升），但黑客率迅速回落至接近零。论文假设：一旦黑客行为变得普遍，判别器将其分类为”模型生成”并降低奖励，推动策略回到任务行为。这种自修复特性是乘法门控+对抗训练的涌现性质。

4. 三个稳定性机制的必要性

消融实验表明，移除任何一个稳定性机制都会导致训练不稳定或判别器过强，验证器过滤和重放缓冲区的作用最为关键。

4 个人分析

亮点

1. 问题定义的范式价值

VARL 精准地重新框架化了 RLVR 的局限——不是”奖励模型不够好”或”优化算法不够强”，而是奖励信号的形状本身有盲区。可验证奖励只看到”对不对”，看不到”像不像”。这一诊断比之前大多数改进工作（更好的 RM、更好的 RL 算法）都更根本。

“Current RLVR methods optimize only what can be objectively scored, often neglecting subjective, non-verifiable aspects of human-like outputs.”

2. 乘法门控的理论优雅

乘法结构 $R = \mathbb{1}_{\text{correct}} \cdot g(D)$ 看似简单，但其理论后果深远：

• 正确性是硬约束（零或非零），人类风格是软约束（调节幅度）
• 无需平衡超参数（对比加法组合需要权重调整）
• 在奖励黑客场景中，乘法的”归零”效应比加法的”减少”效应有效得多

3. Le Cam 散度的选择不是任意的

四种变换的系统性比较（正亲和性 × 有界性）展示了理论驱动的选择如何超越工程直觉。逆 KL 和 JS 散度是 GAN 文献的默认选择，但在 RL 设定中它们的无界性会导致策略梯度方差爆炸。Le Cam 散度的有界性 $A_g \in [0, \frac{1}{2}]$ 直接转化为低方差梯度估计——这是一个理论选择产生工程价值的清晰案例。

4. 与 RLVR 论证链的深度连接

VARL 与我们此前精读的系列论文形成了多重对话：

• Spurious Rewards：裁剪偏置放大预训练先验 → VARL 的判别器为非可验证属性提供独立的梯度信号
• LPO：几何视角的 RLVR 优化 → VARL 在特征空间几何中引入人类分布作为目标
• Alignment Tampering：5% 污染数据即可劫持 RLHF → VARL 的判别器在特征空间检测”非人类”模式
• FADE：m_S/m_F 分解 → VARL 将”做对”（验证器）和”做对的方式”（判别器）显式解耦
• GPRL：标量奖励模型无法捕获非传递偏好 → VARL 的判别器在特征空间匹配多维分布

局限性

1. 人类演示数据的依赖

VARL 需要人类演示数据 $\mathcal{D}_{\text{demo}}$ 来训练判别器。在缺乏人类参考的领域（如前沿数学研究问题），这一要求可能成为瓶颈。论文未讨论当人类演示稀缺或质量不高时的退化行为。

2. 特征空间 $\phi(y)$ 的设计仍需领域知识

虽然论文论证了”用 LM 提取特征比手写提取器更灵活”，但不同领域仍需设计不同的提示来提取特征。这引入了额外的工程变量——如果 $\phi(y)$ 提取的特征不相关，判别器可能提供噪声信号。

3. 判别器的对抗训练不稳定性

尽管三重稳定性机制有效，但论文未给出判别器训练收敛的理论保证。在更大规模或更复杂任务上，GAN 训练的不稳定性可能重新浮现。准确率阈值 $\tau_{\text{acc}} = 0.8$ 是经验选择，论文未提供敏感性分析。

4. 计算开销

VARL 需要同时维护和训练生成器和判别器，以及重放缓冲区。论文未报告与纯 RLVR 相比的计算开销增加比例。在超大规模训练中，额外的判别器前向/后向传播可能不可忽视。

5. 开放式任务的评估困难

在故事生成中，论文使用 GPT-5.5 作为 LLM 裁判进行成对偏好判断。这引入了评估偏见——LLM 裁判可能有自己的系统性偏好（如偏好更长的输出），且不同裁判可能给出不一致的排名。

对大模型领域的影响

1. 对后训练流水线的设计影响

当前主流后训练流水线（SFT → RLVR → OPD）完全忽略非可验证属性。VARL 提出了一种在 RLVR 阶段同时优化正确性和人类风格的新范式。如果被采纳，可能改变后训练的标准流程。

2. 对奖励黑客防御的实践影响

VARL 在 Countdown-Code 上将黑客率从 ~100% 降至 ~1%，且自修复机制的涌现性质（短暂黑客行为 → 判别器检测 → 自动回归）为奖励黑客防御提供了新思路：不需要更聪明的验证器，只需要一个能识别”非人类模式”的判别器。

3. 对 RLVR 理论理解的深化

VARL 的奖励分解 $\alpha(\pi) \cdot A_g(\pi, \rho)$ 与 Spurious Rewards 的”裁剪偏置放大先验”形成互补解释：Spurious Rewards 揭示 RLVR 的奖励信号比想象中弱（随机奖励也 work），VARL 揭示 RLVR 的奖励信号比想象中窄（只覆盖可验证属性）。二者共同指向一个核心洞察：我们对 RLVR 实际在优化什么的理解远比想象中浅薄。

4. 对模型评估范式的启示

VARL 的特征空间设计暗示了一种新的评估范式：不仅评估”做对了吗”，还评估”做对的方式对吗”。这可能催生从单一正确率指标到正确率+分布匹配双指标评估的转变。

5 实践启示

可以借鉴的技术

1. 乘法门控奖励设计

在需要同时优化硬约束（正确性）和软约束（风格/效率/安全性）的场景中，乘法门控比加法组合更优：硬约束为零时软约束自动归零，无需手动平衡超参数。这一设计可直接迁移到：

• 安全对齐：$\text{safe} \times \text{helpful}$
• 代码生成：$\text{pass tests} \times \text{maintainable}$
• 医学 QA：$\text{accurate} \times \text{readable}$

2. 特征空间判别器

在原始文本上训练判别器容易陷入表面线索陷阱。用 LM 提取高层特征后训练判别器，既稳定训练又提供有意义的信号。这一思路可应用于：

• 多模态对齐：在 CLIP 嵌入空间而非原始图像上训练判别器
• 对话安全：在”意图空间”而非原始文本上检测有害输出

3. 重放缓冲区 + 准确率阈值的稳定性配方

判别器训练的三个稳定性机制（验证器过滤、FIFO+蓄水池缓冲、准确率阈值）是一套通用的对抗训练稳定性配方，可直接复用于其他需要在 RL 循环中维护判别器的场景。

4. 判别器作为”非人类检测器”的奖励黑客防御

VARL 的自修复机制提示了一种新的奖励黑客防御思路：不需要更复杂的验证器（成本高且总有盲点），而是训练判别器识别”什么样的输出不像人类写的”。黑客行为因为其结构异常（如修改测试代码而非解题），天然被判别器识别为非人类模式。

潜在应用场景

1. 代码助手：Bug 修复中不仅要修对，还要保持最小编辑距离和代码风格一致性
2. 创意写作：故事/文案生成中保持高质量的同时避免 RLVR 典型的”暗黑化”和”矫饰化”
3. AI 安全：在安全对齐中同时优化安全性和有用性，乘法门控确保不安全输出始终零奖励
4. 数学推理：在推理正确的前提下，优化推理路径的人类可读性（如避免不必要的绕路）
5. 多语言生成：在翻译正确的前提下，匹配目标语言的文体规范和文化习惯

---

精读笔记：VARL 的核心贡献不是”对抗训练”本身（GAN 已是旧技术），而是将对抗训练正确地嵌入 RLVR 框架——乘法门控保证正确性优先，Le Cam 散度保证训练稳定，特征空间保证信号有意义。这三者的组合才使”以正确的方式做正确的事”成为可能。论文标题 “Right in the Right Way” 精准概括了这一核心思想：不仅要得到正确答案（Right），还要以正确的方式得到它（in the Right Way）。