精读：Direct-OPD——策略偏移即隐式奖励

1 论文概览

一句话总结

将小模型 RL 训练前后的策略偏移（log-ratio）而非最终策略作为密集隐式奖励，迁移到大模型的同策略轨迹上，实现弱到强的推理能力迁移——8 张 A100 仅需 4 小时。

核心问题

RLVR 是提升推理能力的核心后训练方法，但成本与模型规模绑定：每次更新都需要当前策略生成 rollout，模型越大，单条 rollout 越慢，RL 迭代越昂贵。为每个新大模型从零运行 RLVR 使后训练本身成为算力瓶颈。

能否将小模型 RL 的”学到的改进方向”提取出来，低成本迁移到大模型？直接蒸馏小模型 RL 后的最终策略会失败——因为最终策略混合了 RL 增益与小模型容量限制，当学生已超越教师时，模仿反而拉低性能。

主要贡献

1. 策略偏移即隐式奖励：比较 RL 前后检查点对的 log-ratio，精确提取 RL 诱导的策略变化，丢弃弱模型固有偏好
2. 跨规模一致增益：两个教师对（JustRL/QuestA）× 三个学生系列（Qwen3-1.7B/4B, R1-Distill-7B）均显著提升，包括学生起始准确率已超越教师的场景
3. 比直接大规模 RL 更高效：步数匹配下，小模型 RL + Direct-OPD 迁移优于直接在大模型上运行 RL，迁移阶段仅约 4 小时（8 A100）
4. 顺序组合：多个独立策略偏移可顺序叠加，Qwen3-1.7B 经两阶段后 AIME 2024 从 48.3% 提升至 63.8%
5. 理论桥接：将 DPO 的恒等式逆向使用——DPO 从偏好拟合策略，Direct-OPD 从已有后 RL 检查点对读回奖励信号

2 方法详解

架构/方法概述

Direct-OPD 的核心思想可以用一句话概括：不传递教师的”答案”，而传递教师的”改进方向”。

具体而言，框架包含三个角色：

• 教师参考模型 $\pi_{T_{\text{ref}}}$：RL 训练前的弱模型检查点
• 教师 RL 模型 $\pi_T$：RL 训练后的弱模型检查点
• 学生模型 $\pi_\theta$：待改进的强模型（初始化为 $\pi_S$）

训练流程：

1. 学生在自己的 on-policy 状态上采样轨迹
2. 对每个 token 位置，在 top-k 词汇上计算教师偏移：$r_t(v) = \log\pi_T(v|s_t) - \log\pi_{T_{\text{ref}}}(v|s_t)$
3. 将偏移作为密集 token 级奖励，通过解析策略梯度更新学生
4. 自适应 KL 控制器调节偏移信号强度

关键创新点

创新一：策略偏移作为隐式奖励的理论基础

这是全文最精妙的理论贡献。KL 正则化 RL 的最优解满足：

$\log\frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} = \frac{1}{\beta}r(x,y) - \log Z(x)$

因此策略偏移可解释为教师的隐式奖励：

$\Delta_T(y|x) = \log\pi_T(y|x) - \log\pi_{T_{\text{ref}}}(y|x) = \frac{1}{\beta}r_T(x,y) - \log Z_T(x)$

这本质上是 DPO 恒等式的逆向应用：DPO 从偏好对推断策略，Direct-OPD 从策略对推断奖励。减法操作精确丢弃弱模型在 RL 前已有的偏好，仅保留 RL 改变的内容。

创新二：On-Policy 接口 + 偏移信号的解耦设计

Direct-OPD 继承了标准 OPD 的 on-policy、top-k 接口（学生采样→教师评估→策略梯度更新），但替换了教师信号的来源——从”模仿教师最终分布”变为”沿教师偏移方向移动”。

这一解耦带来了关键优势：

• 跨模式迁移：不需要教师-学生 top-k 高度重叠，即使重叠较低仍有增益
• 学生超越教师不受惩罚：当学生已比教师更好时，偏移信号自然对齐而非拖后腿
• 解析梯度估计器（Rao-Blackwellized）消除了 REINFORCE 的方差问题

创新三：自适应 KL 控制

教师偏移的尺度与教师 RL 训练的 KL 预算 $\beta$ 绑定（不可观测），固定 $\alpha$ 无法跨教师-学生对迁移。自适应控制器：

$\alpha_{m+1} = \text{clip}\left(\alpha_m(1 + \epsilon \cdot \text{sgn}(\bar{r}_m)), \alpha_{\min}, \alpha_{\max}\right)$

• 平均偏移为正 → 增大 $\alpha$ 防止过度放大
• 平均偏移为负 → 减小 $\alpha$ 允许从被抑制 token 移开

与基线方法的区别

方法	信号来源	跨规模有效	计算成本	需要显式奖励
直接 RL	目标模型自身 rollout	✓	高（与模型规模成正比）	✓
标准 OPD	教师最终策略	✗（弱教师拖后腿）	低	✗
SFT	固定数据集	有限	低	✗
DPO	偏好对	有限	中	✗
Direct-OPD	教师 RL 前后偏移	✓	极低	✗

标准 OPD 的失败模式极具说服力：R1-Distill-7B 起始准确率 56.7 已超越 JustRL-1.5B 教师的 51.3，普通 OPD 将其拖至约 50——模仿弱者使强者变弱。Direct-OPD 则将其提升至 63.1。

3 实验结果

主要指标

核心实验：弱 RL 教师改进更强学生

JustRL 策略偏移迁移（AIME 2024 / AIME 2025）：

模型	AIME24	AIME25
教师参考 R1-Distill-1.5B	28.5	24.0
教师 RL JustRL-1.5B	51.3	37.5
Qwen3-1.7B → + Direct-OPD	48.3 → 58.3 (+10.0)	36.8 → 43.2 (+6.4)
Qwen3-4B → + Direct-OPD	72.5 → 77.6 (+5.1)	65.6 → 68.8 (+3.2)
R1-Distill-7B → + Direct-OPD	56.7 → 63.1 (+6.4)	40.5 → 48.8 (+8.3)

关键观察：所有学生均提升，包括起始准确率已超越教师的情况（Qwen3-4B 72.5 >> JustRL-1.5B 51.3）。

顺序组合效果：

阶段	AIME24	AIME25
初始 Qwen3-1.7B	48.3	36.8
+ JustRL 偏移	58.3 (+10.0)	43.2 (+6.4)
+ QuestA 偏移	63.8 (+15.5)	46.8 (+10.0)

不同 RL 训练运行学习不同能力，Direct-OPD 可顺序叠加——这暗示 RL 的”改进方向”本身是可组合的。

与 SOTA 的对比

步数匹配对比（RQ2）：在相同 RL 步数下，小模型 RL + Direct-OPD 迁移到大模型优于直接在大模型上运行 RL。

计算成本对比：

• R1-Distill-1.5B 上 1500 步 RL：~160 小时（32 A100）
• R1-Distill-7B 上 RL：~320 小时（32 A100）
• Direct-OPD 迁移阶段：~4 小时（8 A100）

迁移成本相对于 RL 成本可忽略。这使得”先在小模型上试错 RL，再将最佳方向迁移到大模型”成为可行策略。

消融实验关键发现

发现一：跨模式迁移不需要 top-k 重叠

Direct-OPD 不要求教师和学生在 top-k 词汇上高度重叠。即使跨模式（思考→非思考）迁移中重叠保持较低，仍有增益。这说明偏移信号的语义信息远比词汇级匹配重要。

发现二：短视界训练可泛化到长推理

2k token 响应长度训练可以改变远超训练视界（~16k）的行为。但 6k 训练视界反而导致更差验证性能——更长的训练上下文引入了更多不可靠的教师信号。

“中等长度（2k）捕获可靠信号同时避免噪音”

这一发现与 Overthinking 的”推理边际收益递减”和 RELEX 的”低秩可外推”形成精确呼应——RL 改进的可靠信号集中在推理链的前段。

发现三：自适应 KL 的必要性

最佳固定 KL 值是师生对依赖的——JustRL 偏移需要 $\alpha \approx 1.5$，QuestA 偏移需要 $\alpha \approx 1.0$。自适应控制器在初始校正后将密集奖励拉向零，保持学生处于信息丰富的区域。

4 个人分析

亮点

1. 概念优雅：偏移即奖励

“策略偏移作为隐式奖励”的提出是全文最精彩的概念贡献。它不是一个工程 patch，而是一个视角转换：将 RL 训练产物从”一个更好的模型”重新理解为”一组可迁移的改进信号”。这与 DPO 形成了优美的对偶——DPO 从偏好到策略，Direct-OPD 从策略到奖励。

2. 与 RLVR 论证链的深层连接

Direct-OPD 与本专栏此前精读的多篇论文形成深刻对话：

• Spurious Rewards：发现 RLVR 的改进可能来自裁剪偏置而非奖励信号；Direct-OPD 则反过来证明——即使不知道奖励信号是什么，仅凭 RL 前后的策略差异就足以迁移改进
• RELEX：发现 RLVR 权重轨迹极低秩且可线性外推；Direct-OPD 从不同角度验证了同一洞见——RL 的”改进方向”是简洁的、可提取的、可迁移的
• SAR（同一团队前作）：发现 RL 更新的有效成分集中在 SVD 光谱子空间；Direct-OPD 将此提升为方法论——不直接蒸馏最终策略，而提取”RL 做了什么改变”
• One Layer Enough：发现 RL 增益层级集中；Direct-OPD 在功能层面呼应——RL 改变的不是模型整体，而是特定的”方向”

这些论文共同指向一个核心洞察：RLVR 的实际作用远比训练流程暗示的更简单、更局部、更可迁移。

3. 顺序组合的工程价值

不同 RL 训练运行可学习不同能力，且可顺序叠加——这为后训练提供了全新的工程范式：将后训练从”一次性大 RL 运行”变为”多方向迁移+组合”。每个方向可以在小模型上低成本试错，选择有效的再迁移组合。

4. 理论诚实度

论文明确标注了局限性：信号是有条件的，教师偏移在学生未访问的状态上可能无意义；最佳响应长度和 KL 强度仍依赖师生对。这种诚实度在当前 LLM 论文生态中并不常见。

局限性

1. 教师偏移的条件性

当教师的”改进方向”与学生当前状态不匹配时（例如教师在某个推理步骤做了改进，但学生根本不会到达那个步骤），偏移信号可能无效甚至有害。论文承认了这一点但未深入量化——什么条件下偏移信号退化为噪声？

2. 缺乏跨领域验证

所有实验均在数学推理领域（AIME/AMC/MATH），未验证在代码生成、科学推理或开放式生成等领域的有效性。不同领域的 RL 偏移是否同样可迁移？数学推理的偏移是否过于”窄”？

3. 与直接 RL 的比较不够公平

步数匹配不等于计算量匹配。1.5B 模型 1500 步的 FLOPS 远低于 7B 模型 1500 步。更公平的比较应该在相同 FLOPS 预算下进行——7B 模型 750 步 vs 1.5B 模型 1500 步 + Direct-OPD 迁移。

4. 评估范围

主要指标集中在 AIME 2024/2025，缺少更广泛的基准验证（如 LiveCodeBench、GPQA、ARC-C）。此外，非推理能力（如指令遵循、安全性）是否受影响也未评估。

对大模型领域的影响

短期（6 个月内）

• 后训练工程范式的改变：从”为大模型运行大 RL”到”在小模型上试错 RL，迁移有效方向”。这可以显著降低后训练成本，尤其对资源有限的团队。
• 与 SAR 的组合潜力：SAR 提取 0.58% 参数的”重连矩阵”，Direct-OPD 提取策略偏移——两者结合可能实现更极致的效率。

中期（1-2 年）

• “RL 即信号生成器”范式的兴起：如果 RL 的改进方向可以迁移，那么 RL 训练的最大价值可能不在于最终模型，而在于改进信号本身。这改变了对 RL 训练产物的理解。
• 多方向后训练流水线：不同任务/领域的 RL 偏移可以像乐高积木一样组合，为特定应用场景定制后训练方案。

长期

• 弱到强泛化的新路径：直接对齐弱模型→强模型的知识迁移，而非依赖数据或偏好对。这可能改变我们理解”后训练可迁移性”的方式。

5 实践启示

可以借鉴的技术

1. 检查点对作为训练信号

保存 RL 训练前后的检查点对，而非仅保存最终模型。这对的计算差值包含了 RL 的完整”改进方向”信息，是一种被严重低估的训练资产。

2. On-Policy + Top-k 偏移评估

在学生自己的 on-policy 状态上评估教师偏移（而非直接在教师数据上评估），配合 top-k 近似降低计算成本。这一接口设计可直接移植到其他迁移场景。

3. 自适应 KL 控制器

简单的符号+步长自适应机制（$\alpha_{m+1} = \alpha_m(1 + \epsilon \cdot \text{sgn}(\bar{r}_m))$），无需调参即可跨师生对稳定工作。可推广到任何涉及偏移信号强度的训练场景。

4. 顺序组合策略

不同 RL 运行学习不同能力，可顺序叠加。建议后训练流程：先在小模型上运行多组不同配置的 RL → 评估每组偏移的有效性 → 选择有效方向顺序迁移到大模型。

潜在应用场景

1. 低资源团队的后训练

资源有限的团队无需为大模型运行昂贵 RL，可在小模型（1.5B-4B）上完成 RL 试错，再用 Direct-OPD 迁移到目标模型。4 小时 8 卡的迁移成本对大多数团队可承受。

2. 后训练方向探索

在新任务领域，可先在小模型上快速探索不同 RL 配置（奖励设计、训练策略），将有效的配置筛选后再迁移到大模型，避免在大模型上浪费算力。

3. 持续后训练更新

当新数据/任务出现时，在小模型上增量训练 RL，用 Direct-OPD 将新的偏移迁移到生产模型，避免从零重训。

4. 多能力组合

不同能力的 RL 偏移（数学推理、代码生成、科学推理）可以像插件一样按需组合，为特定应用场景定制后训练方案。

---

本精读基于论文 arXiv:2607.05394 (v2, 2026-07-08) 撰写。论文项目页面：https://bytedtsinghua-sia.github.io/Direct-OPD/