论文精读

精读：OPD-then-RL —— 两阶段为什么打过单步融合

把 on-policy 蒸馏与 RLVR 从同一步内加权混合改成前后两阶段执行，逻辑推理 pass@1 领先全部七种联合方法 11.7–26.7 分，并用「教师天花板」解释联合方法为何集体卡在教师水平

论文： Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR

作者： Boyan Li, Bingsen Chen, Chenghao Yang, Ping Nie, Chen Zhao, Xi Ye

arXiv： 2609.04108

2026年9月10日 OPD-then-RL On-Policy Distillation RLVR GRPO Post-Training 知识蒸馏 cs.CL

1 论文概览

一句话总结：把 on-policy 蒸馏（OPD）和 RLVR 从「同一步内混合」改成「前后两阶段依次执行」，在最朴素的切换策略下就打败了两类共七种联合优化方法，并给出了「OPD 负责扩张、RL 负责锐化」的机理解释。

核心问题：OPD 提供稠密的 token 级监督却只优化行为代理（模仿教师），RLVR 的奖励直指任务目标却稀疏到每一步推理都没有信号。两种信号天然互补，那么它们该在同一步里加权混合，还是该拆成两个阶段？

主要贡献

在 token 级策略梯度视角下把现有 OPD–RLVR 混合方法统一成同一套更新式（式 4），并按「教师信号如何进入 per-token advantage」把它们归为两类：weighted-additive（教师项作为独立加项，可翻转优势符号）与 teacher-modulated（教师项只做幅度调制，符号仍由验证器决定）。
提出并系统评测 OPD-then-RL：先跑 $S$ 步纯 OPD，再切到纯 GRPO。在逻辑推理上把平均 pass@1 从纯 OPD 的 53.9 推到 80.6（+26.7），超过全部联合方法 11.7–26.7 分。
从 pass@ $k$ 行为、学习动力学、参数更新三个角度给出一致的机理：OPD 扩张教师支持解集的覆盖，RL 在该支持集内部锐化；联合优化把两种角色混在一起，互相干扰。
给出可执行的配方：切换点的 OPD 验证分数基本决定 RL 之后的最终精度；OPD 作为 RL 的冷启动显著优于离线 SFT 冷启动，且差距在 RL 之后进一步拉大。

“OPD expands the student’s coverage of teacher-supported solutions and RL sharpens within that support, while jointly optimizing the two signals causes them to interfere.” —— 摘要

2 方法详解

2.1 统一的 token 级视角

论文的出发点是：GRPO 和 OPD 可以写成同一个策略梯度式，区别只在 per-token advantage 的取值。

\nabla_{\theta}\mathcal{J}^{\mathrm{alg}}(\theta)\;=\;\mathbb{E}\!\left[\sum_{i,t}A^{\mathrm{alg},(i)}_{t}\,\nabla_{\theta}\log\pi_{\theta}(y^{(i)}_{t}\mid h^{(i)}_{t})\right] \tag{4}

GRPO 取 $A^{\mathrm{GRPO},(i)}_{t}=\hat{A}^{(i)}$ （组归一化后的序列级奖励，整条轨迹共享一个标量）；OPD 取 $A^{\mathrm{OPD},(i)}_{t}=d^{(i)}_{t}=\log\pi_{T}(y^{(i)}_{t}|h^{(i)}_{t})-\log\pi_{\theta}(y^{(i)}_{t}|h^{(i)}_{t})$ （逐 token 的教师–学生对数概率差）。

这个统一不是形式游戏。它意味着 Table 1 里七个已有的混合方法（KDRL、KDRL-mask、SRPO、HDPO、TRRD、RLSD）共用同一个 PPO-clipped surrogate，只在 advantage 与重要性比率上做手脚。于是「怎么组合」这个原本散落在各篇论文里的工程选择，被压缩成了一个可枚举的设计空间：教师信号是加进去，还是乘上去。

加性范式 $A^{\mathrm{add},(i)}_{t}=w_{R}\hat{A}^{(i)}+w_{T}d^{(i)}_{t}$ ：教师项可以翻转 $\hat{A}^{(i)}$ 的符号。教师与验证器意见相左时，更新方向由教师接管。
调制范式 $A^{\mathrm{mod},(i)}_{t}=m(d^{(i)}_{t})\cdot\hat{A}^{(i)}$ ， $m>0$ ：符号恒等于 $\hat{A}^{(i)}$ 。教师退化成 token 级信用分配——验证器与教师一致处放大幅度，分歧处缩小幅度。

2.2 OPD-then-RL：只改一个 if

论文的提议简单到近乎挑衅：

A^{\mathrm{alg},(i)}_{t}\;=\;\begin{cases}d^{(i)}_{t}, & \text{training step}\leq S\\ \hat{A}^{(i)}, & \text{otherwise}\end{cases}

没有新损失、没有新超参族、没有调度器。整个算法就是「第 $S$ 步换一个 advantage」。默认 $S=60$ 。

2.3 与基线方法的区别

区别不在目标函数，而在两种信号是否在同一时刻共存。加性与调制范式都允许教师项在 RL 优化期间持续存在；论文的核心赌注是：这种持续存在本身就是干扰源——教师项不断把学生拉回教师分布，RL 就没法把概率质量集中到验证器认可的解上。

论文还专门构造了一个软切换对照组 KDRL-Annealing（ $\beta$ 从 0.2 线性退火到 0.002），用来分离「把两阶段拆开」与「把教师权重慢慢降下来」这两种解释。

3 实验结果

设置：教师 Qwen3-8B（非思考模式），学生 Qwen3-1.7B-Base；逻辑任务取 Reasoning Gym 的 Knights Knaves（K&K）、Zebra Puzzles、Countdown（教师在这些合成任务上训练曝光有限）；数学任务在 DeepMath-103K 上训练，评测 MATH-500 / AMC23 / AIME24 / AIME25（教师经过重度后训练）。所有方法共享总步数预算（逻辑 150 步、数学 120 步）。

3.1 主结果（Table 2，Qwen3-1.7B-Base）

方法	逻辑 avg p@1	逻辑 avg p@32	数学 avg p@1	数学 avg p@32
基座学生	1.9	33.0	16.2	51.6
教师 Qwen3-8B	59.9	96.2	50.1	77.1
GRPO	49.4	68.1	28.4	55.7
OPD	53.9	94.9	31.0	55.9
KDRL（加性）	62.8	92.4	29.0	58.7
KDRL-mask	62.2	94.1	29.6	56.5
SRPO	56.0	94.6	31.6	56.5
TRRD（调制）	58.6	95.6	30.1	58.9
KDRL-Annealing	68.9	95.4	30.0	53.6
OPD-then-RL	80.6	98.3	31.8	58.5

K&K 单任务上 OPD-then-RL 的 pass@1 达 92.6，教师只有 56.6——学生超出教师 36 分。

3.2 与 SOTA / 全部基线的对比

逻辑：领先纯 OPD 26.7 分、纯 GRPO 31.2 分、最强联合方法 KDRL-Annealing 11.7 分。配对 bootstrap 显示对全部九个对手的 pass@1 差异均显著。
数学：领先幅度收窄到 +0.8（对 OPD）、+0.2（对 SRPO）。Table 7 的 95% 置信区间显示，对 OPD $[-0.47,+2.13]$ 、对 SRPO $[-0.81,+1.21]$ 、对 KDRL-mask $[-0.06,+4.77]$ ——三个区间都跨零，统计上是平局；真正显著的只有对 TRRD / RLSD / HDPO / KDRL / GRPO / KDRL-Annealing 六个。
pass@32 上数学域 TRRD（58.9）与 KDRL（58.7）的点估计反而略高于 OPD-then-RL（58.5）。

3.3 泛化性

换学生规模：Qwen3-0.6B-Base 上逻辑 avg pass@1 从 OPD 的 48.9 提到 70.4，方法排序完全保持。
换模型族：OLMo-3.1-32B-Instruct 教师 → OLMo-3-7B-Instruct-SFT 学生，K&K pass@1 84.0 对 OPD 的 78.4，显著；但 MATH-500 上 OPD 的 86.9 略高于 OPD-then-RL 的 86.8，AIME25 pass@32 上 OPD 的 53.3 高于 OPD-then-RL 的 50.0。

3.4 消融关键发现

切换点（附录 C.1）：K&K 与 Zebra 上 OPD 到 step 100 仍在涨，越晚切最终越好（step 100 > 60 > 20）；Countdown 上 OPD 在 step 20 就饱和，三个切换点最终收敛到几乎相同。主实验默认取 step 60。
冷启动对比（Table 8）：OPD 冷启动在 RL 前比 SFT 冷启动高 4.9 分（30.3 对 25.4），RL 之后差距扩大；SFT 冷启动接 GRPO 后 pass@32 从 56.6 掉到 54.1，OPD 冷启动接 GRPO 后从 51.3 升到 58.5。
符号冲突率（Table 3）：以 OPD 更新幅度排名取 top- $K\%$ 参数，OPD-then-RL 的符号冲突率在 K&K 上只有 3.38%（top-100%），纯 RL 是 21.00%，KDRL 是 15.02%。截断实验（Figure 5）显示把 KDRL 中与 OPD 冲突的参数按比例换回 OPD 的值，pass@ $k$ 单调升、pass@1 单调降——冲突子空间正是覆盖与锐化的取舍面。

4 个人分析

4.1 亮点

把「怎么组合」变成了一个可枚举的设计空间。 Table 1 的价值超过任何单个实验结果。此前七篇论文各自提出一种混合规则，读者无法判断差异是本质的还是调参产物。论文把它们塞进同一个 PPO surrogate、只留 advantage 与重要性比率两个自由度，加性/调制的两分法立刻显形：前者让教师能翻转梯度符号，后者不能。这个分类直接预言了两者的行为差异——正文验证了：加性方法把策略推向 RL 的锐化（逻辑 pass@1 平均 +4.8，pass@32 −2.0），调制方法留在 OPD 附近（数学上比加性更不伤 pass@1）。

「天花板效应」是全文最有解释力的观测。 Figure 3 显示 OPD 与全部联合方法的验证 pass@1 都停在教师 56.6 这条线以下，两个 scheduling 方法越线继续爬。

“the persistent OPD signal … keeps pulling the student back toward the teacher distribution and prevents RL from sharpening past it; the scheduling methods break this ceiling by decaying or removing the OPD signal” —— §5.2

这句话把「为什么联合方法全都挤在教师附近」解释清楚了：不是它们不够好，是它们身上一直拴着一根绳子。

KL 分解这一步做得很漂亮。 $\mathrm{KL}(p_S\|p_T)=H(p_S,p_T)-H(p_S)$ 拆开之后，RL 阶段 KL 上升一度像「学生跑离教师」，实际是交叉熵在降、熵降得更快——教师给学生生成内容的似然还在升高，只是学生自己的分布更集中了。再用 top- $K$ 重叠率下降、共享质量上升做交叉验证（Figure 4），结论变成「覆盖的教师 top token 变少，但压在保留 token 上的概率更高」。这是一个收缩到更小但仍落在教师支持集内的核。

4.2 局限性

（一）摘要的「consistently outperforms」与自家显著性检验冲突。 摘要称在逻辑与数学基准上一致超过纯 OPD、纯 RLVR 与所有联合基线。逻辑域没问题。数学域 Table 7 里对 OPD、SRPO、KDRL-mask 三个的置信区间全部跨零，是统计平局。点估计确实更高（31.8 对 31.6 / 31.0），但「outperforms」这个措辞在论文自己做的 bootstrap 面前只能降级为「点估计占优」。

（二）26.7 分这个 headline 数字的参照系是纯 OPD。 80.6 − 53.9 = 26.7，减数是纯 OPD；对真正的同类竞品 KDRL-Annealing 只有 11.7 分。摘要写「up to a 26.7 pass@1 margin on logic reasoning tasks」，最自然的读法是「比最强对手高 26.7」，实际比最强联合方法高 11.7。正文 §4.2 的表述（「leading other combination methods by 11.7–26.7 points」）是准确的，摘要丢掉了参照系。

（三）增益高度集中在教师弱、且分布不漂移的域。 三个逻辑任务都是 Reasoning Gym 程序化生成，训练 20,000 条、评测 512 条，难度配置（K&K 固定 $n=6$ ，Zebra 固定 4 房 4 属性）训练与评测一致，属严格同分布。数学域有真实分布漂移（DeepMath → AIME24/25），增益掉到 +0.8 且统计不显著。跨模型族的 Table 6 更直接：换成 OLMo 教师（32B，对 7B 学生的能力差更大、数学上更强）之后，MATH-500 与 AIME25 pass@32 两个格子里纯 OPD 反而是最高的。

把这三条放在一起，论文的域选择本身就编码了结论：教师越弱、分布越近，两阶段越划算。 论文其实知道这件事——§4.1 明确写了逻辑任务「the teacher has limited prior exposure」、数学任务「the teacher has been heavily post-trained」——但没有把它提炼成对方法适用边界的陈述。

（四）Zebra 是反例，论文没解释。 按任务拆开看 RL 阶段的贡献：

任务	教师 p@1	OPD → OPD-then-RL (p@1)	p@32 变化
K&K	56.6	50.5 → 92.6（+42.1）	99.4 → 100.0（+0.6）
Zebra	64.4	56.6 → 59.7（+3.1）	100.0 → 98.4（−1.6）
Countdown	58.8	54.6 → 89.6（+35.0）	85.2 → 96.5（+11.3）

Zebra 上两阶段只值 3.1 分，而且 pass@32 从 100.0 掉到 98.4——RL 阶段净损失了覆盖率。0.6B 学生上更极端：52.8 → 53.3，只有 +0.5。原因不难找：Zebra 的 OPD pass@32 已经是 100.0，512 道题里没有一道是 32 次采样内解不出的，锐化没有剩余空间。论文用「逻辑 avg」把这三个差异极大的任务压成一个 80.6，Zebra 被 K&K 的 +42.1 盖住了。

（五）Countdown 上 RL 也在扩张，不只是锐化。 论文的机理是「OPD 扩张、RL 锐化」，可 Countdown 上 RL 阶段把 pass@32 从 85.2 推到 96.5（+11.3）——这是扩张，不是锐化。Countdown 还是三个任务里唯一用了分级奖励的（用对数字集合且算对得 1.0，可解析但不满足得 0.05，空或不可解析得 0.01，附录 A.1.1），也是唯一一个纯 GRPO（77.5）大幅超过纯 OPD（54.6）的任务。也就是说，论文机理成立得最干净的那个任务（K&K），恰好是 OPD 单干就很强的任务；机理被破坏的那个任务，恰好是奖励被人工整形过的任务。

（六）缺了 RL-then-OPD 这一臂。 论文的对照组覆盖了纯 OPD、纯 GRPO、七种联合方法、软切版本，唯独没有反序的两阶段。若结论真是「解耦本身有价值」，RL-then-OPD 也该优于联合方法；若结论是「顺序有价值（先扩张后锐化）」，RL-then-OPD 应当显著更差。这一臂在他们的框架里就是换一下式（5）的两行，成本极低，缺失让「sequential beats joint」无法与「OPD 更适合打头阵」区分开。多段交替（OPD→RL→OPD→RL）同样没有测。

（七）Table 3 的符号冲突率没有控制 RL 步数。 所有方法总预算相同（逻辑 150 步），但 OPD-then-RL 只跑了 90 步 RL（另 60 步给 OPD），纯 GRPO 与联合方法跑满 150 步。SCR 度量的是 $\theta^{m}-\theta^{\mathrm{base}}$ 相对 OPD 更新方向的符号一致率，RL 暴露少 40% 天然带来更低的漂移。3.38% 这个数里有多少来自「解耦」、多少来自「RL 剂量小」，论文没有分离。补充一点：这不影响 Countdown 上的结论方向——OPD-then-RL 用 90 步 RL 拿到 89.6，纯 GRPO 用 150 步只拿到 77.5，单位 RL 步的效率是更高的。

（八）默认切换点在自己的消融里不是最优。 附录 C.1 明确说 K&K 与 Zebra 上 step 100 切换最好、step 60 居中，主实验却取 step 60，理由是「leaving sufficient budget for the subsequent RL stage」。三个逻辑任务里有两个是明知少拿了精度。

4.3 对大模型领域的影响

给 post-training 流水线提供了一个应当被默认对照的基线。 2025 年以来工业界（论文引用了 GLM-5、DeepSeek-v4 等）普遍在 OPD 与 RLVR 上做单步融合，这篇论文的主张是：先别融合，试试直接串起来。它的价值不在证明两阶段多精巧，而在证明很多融合设计的收益本身只是「把干扰做得没那么严重」。KDRL-Annealing 拿到 68.9、硬切换拿到 80.6，软硬之间的 11.7 分提示：融合类方法的调参空间里，一大块是在找「多快把教师权重降下来」。

把「教师天花板」变成了一个可操作的判据。 如果 OPD 阶段的学生验证分数已经贴近教师，那么继续 OPD 的边际收益低、RL 也掀不动天花板；如果远低于教师，RL 就是必需的。对实践者来说，这是一个比「跑多少步」更直接的信号。

冷启动结论比主结论更有普适性。 Table 8 里 SFT 冷启动接 GRPO 后 pass@32 净掉 2.5 分，OPD 冷启动接 GRPO 后净涨 7.2 分。离线 SFT 冷启动会锁死 RL 的改进上限——这与本专栏此前讨论过的 exposure bias 是同一件事的两面，而且这里给了可量化的后果。

5 实践启示

5.1 可直接借鉴的技术

先测两阶段，再谈融合。 若已有教师，把 OPD 跑 $S$ 步再切 GRPO 作为第一个基线。 $S$ 的初始猜测可以参考论文的 60 步（在 150 步预算下），但按 §4.2（八）的建议，把 $S$ 往后压到 OPD 验证分数明显走平处更稳。
用「OPD 验证分数 vs 教师分数」的差值决定要不要进 RL 阶段。 差值大（教师在本域弱）→ RL 阶段收益大；差值小（教师在本域已是强代理）→ 省下 RL 的算力，或把预算挪给更多 OPD 步。
EOS 位置的教师信号必须 mask。 教师是指令微调模型（<|im_end|>），基座学生是 <|endoftext|>，教师给学生 EOS 打的分会因为这个 tokenizer 不一致而系统性偏低。论文在附录 A.2 专门处理了这一点，是很容易踩的坑。
加性方法的 $\beta$ 必须按任务扫。 论文在 Reasoning Gym 上扫了 $\beta\in\{1,0.2,0.02,0.002\}$ ，最终 K&K/Zebra 取 0.2、Countdown 取 0.02，并直言「weighted-additive methods are highly sensitive to $\beta$ 」。两阶段配方只需要一个 $S$ ，鲁棒性上是实打实的优势。
监控 top- $K$ 共享质量，而不是只看 KL。 若 RL 阶段 $\mathrm{KL}(p_S\|p_T)$ 上升但 $H(p_S,p_T)$ 在降、共享质量在升，属于支持集内锐化；若 $H(p_S,p_T)$ 也在升，那是真的跑离了教师。

5.2 一个论文没写、但数字支持的成本账

按论文的等步数预算重算教师侧的开销：OPD 每一步都要教师对学生 rollout 做 token 级前向打分，GRPO 只需一个验证器。

逻辑（150 步预算）：OPD-then-RL 只用 60 步教师 = 纯 OPD 的 40%，pass@1 反超 26.7 分。
数学（120 步预算）：只用 60 步教师 = 纯 OPD 的 50%，pass@1 +0.8、pass@32 +2.6（对同预算纯 OPD）。

换成边际步数的比较更干净。在同一个 OPD@60 检查点上，再喂 60 步 OPD（到 120 步）与改喂 60 步 GRPO：

后续 60 步做什么	数学 avg p@1	数学 avg p@32
继续 OPD	30.3 → 31.0（+0.7）	51.3 → 55.9（+4.6）
切到 GRPO	30.3 → 31.8（+1.5）	51.3 → 58.5（+7.2）

GRPO 的边际效率是继续 OPD 的 2.14 倍（pass@1）与 1.57 倍（pass@32），并且省掉这 60 步的教师前向。对按教师 token 计费的 pipeline，这是直接的成本项，论文把它记成了精度项。

5.3 一个被论文归档错位的现象

Table 8 与 Table 2 对读能看出一件论文没说的事。基座学生在数学域是 16.2 / 51.6（pass@1 / pass@32）；OPD@60 是 30.3 / 51.3。也就是说，OPD 阶段在数学上把 pass@1 抬了 14.1 分，pass@32 反而降了 0.3 分。

反向 KL（式 2）是 mode-seeking 的，这个结果是它的标准行为：先收缩模式、丢覆盖，贪心精度上升。跑到 120 步时 pass@32 回到 55.9，超过基座；接上 GRPO 到 58.5。覆盖率先塌后修，是这条曲线真实的形状。

这件事的意义在于：论文把「扩张」归给 OPD、「锐化」归给 RL，可是在教师最强的那个域（数学），OPD 这一阶段干的恰恰是纯粹的锐化（+14.1 / −0.3），一点扩张都没有。「OPD 扩张覆盖」是一个条件命题，条件是教师在该域留有余量。 论文在 Limitations 里承认只测了「外部更强教师」这一种配置，但没意识到这个条件已经写在自己的 Table 8 里了。

5.4 潜在应用场景

小模型追赶同族大模型：Qwen3-1.7B 在 K&K 上做到 92.6，超过 8B 教师 36 分。合成推理任务、程序化生成的业务规则推理、结构化抽取后处理等场景，用规则验证器 + 一个中等教师即可把小模型推过教师。
验证器廉价、教师昂贵的场景：代码、SQL、表单校验、数据管道断言等有现成执行验证器的任务，正好落在本文的甜区——RL 段几乎不花钱，OPD 段可以压到很短。
替换现有 SFT 冷启动：凡是「先用教师轨迹 SFT 再上 RL」的流水线，都值得换成 OPD 冷启动。Table 8 给出的后果是 pass@32 从 −2.5 变成 +7.2。
教师能力弱于目标域时的补救：若手上只有通用教师而业务域很专，本文的顺序（先 OPD 拿到基础行为，再靠验证器 RL 突破教师上限）比任何单步融合都更有针对性。

5.5 复现前需要知道的边界

论文没有做、但落地前必须自己验证的四件事：反序两阶段（RL-then-OPD）是否更差；多段交替是否更优；OPD 换成 forward KL / JSD 之后结论是否反转；教师先用 RLVR 强化再蒸馏给学生（teacher-first）与本文的学生侧两阶段，在等算力下谁更好。论文在 Limitations 里把前三条都列了，第四条明确留给了未来工作。

参考文献

Boyan Li, Bingsen Chen, Chenghao Yang, Ping Nie, Chen Zhao, Xi Ye (2026). Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR. arXiv:2609.04108 [cs.CL]. 纽约大学、芝加哥大学、滑铁卢大学、阿尔伯塔大学（含 NYU Shanghai 与 Amii）。代码：https://github.com/StringNLPLAB/opd-rlvr
Lu and Lab (2025). on-policy 蒸馏的 reverse-KL 形式化，本篇式（2）–（3）的来源。
Xu et al. (2025). KDRL，加性范式的典型实例；本篇 KDRL-Annealing 基线的退火方案亦沿自该文。
Zhang et al. (2026b). TRRD，把教师信号折进重要性比率作 trust-region 正则，调制范式代表。
Li et al. (2026c). top- $K$ token 重合率与共享质量指标的来源，本篇 §5.2 图 4 沿用。
Guo et al. (2025). SFT 冷启动 + RLVR 的两段式流水线，本篇 Table 8 冷启动对照的基线。