论文精读

精读：给教师的位移装一道闸门——中间检查点只做证据，不做目标

多存一个中间检查点，用前段位移与后段位移在学生 top-16 上的余弦一致性给端点位移开门。六项设置平均分全过 Direct-OPD，但反推批归一化后：幸存前缀拿到的是无门控强度的 0.86–0.96 倍，真实操作是硬删 7%–17% 的前缀，不是整体缩放；而门的大小与被门控对象的范数机械相关，shuffle 消融分不开两种解释。

论文： Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

作者： Bingxi Hou, Guochao Jiang, Guofeng Quan, 等

arXiv： 2610.21601

2026年10月20日在策略蒸馏 OPD 策略位移门控弱到强 RLVR 信用分配 Qwen3

1 论文概览

本文是 arXiv:2610.21601（阿里云，cs.LG 主分类 + cs.CL 交叉；v1 2026-10-15；7 位作者）。本专栏前四十三期改过信号怎么造、怎么记账、从哪条通道进来、以什么形状落到参数上、结局分几档、一笔优势在响应内部怎么分；这一期改的是教师交出来的那笔位移里，哪些前缀有资格进学生的损失——通道没换，通道上装了一道闸门。

一句话总结：在教师的同一次 RL 里多存一个中间检查点，用「前段位移」与「后段位移」在学生自己 top-16 候选上的余弦一致性给端点位移开门，方向相反的整格删掉；Qwen3-4B 教师 → Qwen3-8B / 14B / 30B-A3B 三个学生，数学与代码六项设置的平均分都压过 Direct-OPD（+1.19 到 +2.66 分），代价是一次额外的冻结教师打分，而实测训练时间反而少了 3.73%。

核心问题：Direct-OPD 把教师 RL 前后两个检查点的对数概率差 $\log\pi_1-\log\pi_0$ 当稠密隐式奖励。这个差是端点差，它等于前段位移与后段位移之和，而同一个和可以由互相加强的两段产生，也可以由互相抵消的两段产生。论文的问句落在这一点上：

“The same endpoint shift can result from early and late shifts that reinforce or partially cancel each other. Endpoint-only transfer cannot distinguish these cases.”（§1）

端到端的位移守恒意味着：只凭 Initial 与 Final，分辨不出这笔位移是「一路走过去」还是「走过头再退回来」。Waypoint 这个中间检查点不改变被传递的量（附录 A.1 证明了 $u_t+v_t=d_t$ 恒成立），它只提供拆分方式，从而提供一个方向一致性的读数。

主要贡献

把「选择哪些教师位移值得传」的判据从外部信号（verifier 优势、teacher-student 符号一致）换成教师自身训练轨迹的内部一致性，迁移期不需要 verifier、不需要更强的外部教师、不需要额外的教师训练。
门控建在学生自己访问的前缀、学生自己的 top-16 支撑、学生自己的概率加权内积上；候选信用是稠密的（16 个候选各拿一份系数），采样 token 之外不再有单独的梯度通道。
六项设置（数学 / 代码 × 8B / 14B / 30B-A3B）平均分全部第一，21 项数学比较赢 19 项、15 项代码比较全赢，跨尺度且跨稠密与 MoE 两种架构。
公开了门控的诊断量（附录 G：门均值、零门比例、批归一化乘子、逐前缀信号范数随训练的变化），这一类「门到底在做什么」的自测量在蒸馏论文里不多见。

2 方法详解

2.1 三个检查点与一段位移的两种拆法

教师 RL 跑 1200 步，取三个冻结检查点：Initial $\pi_0$ （RL 前）、Waypoint $\pi_m$ （第 600 步）、Final $\pi_1$ （第 1200 步）。在学生访问的前缀 $s_t$ 上取学生自己概率最高的 $k=16$ 个候选 $\mathcal{K}_t$ ，归一化重量 $q_t$ 。两段位移是

$\delta^{(1)}_t(a)=\log\pi_m(a\mid s_t)-\log\pi_0(a\mid s_t),\qquad \delta^{(2)}_t(a)=\log\pi_1(a\mid s_t)-\log\pi_m(a\mid s_t),$

两者望远镜式相加等于端点位移 $\delta_t$ 。再作用一个 $q_t$ -中心化算子 $C_{q_t}[z](a)=z(a)-\mathbb{E}_{b\sim q_t}[z(b)]$ ，得到 $u_t$ 、 $v_t$ 、 $d_t=u_t+v_t$ 。中心化这一步去掉了「所有候选一起平移」的分量——那部分不改变相对偏好，却会污染余弦。

2.2 门与批归一化

局部一致性是加权余弦 $c_t=\langle u_t,v_t\rangle_{q_t}/(\lVert u_t\rVert_{q_t}\lVert v_t\rVert_{q_t})$ ，门取 $g_t=\max(0,c_t)$ ；任一段的加权范数 $\le\varepsilon=10^{-8}$ 时走低范数回退 $g_t=1$ 。候选系数

$A_t(a)=\operatorname{sg}\!\left[\kappa_B\,q_t(a)\,g_t\,d_t(a)\right],\qquad \kappa_B=\operatorname{clip}\!\left(\frac{\tau}{\frac{1}{|B_{\text{pref}}|}\sum_{t\in B_{\text{pref}}}g_t},\kappa_{\min},\kappa_{\max}\right),$

默认 $\tau=0.8$ 、 $[\kappa_{\min},\kappa_{\max}]=[0.75,1.5]$ ，学生侧 KL 系数 $\beta=2.5$ ，优化走候选级 dual-clipped PPO。

2.3 与基线的区别

方法	监督对象	门控证据来源
OPD	Final 教师的绝对分布（反向 KL）	无
OPD2	教师相对基座的变化	中心化变化与中心化标准蒸馏信号的符号一致
Direct-OPD	Initial→Final 的对数比（端点位移）	无
RG-OPD	同上，按轨迹门控	verifier 优势与 teacher-student 序列似然差的一致
Waypoint-OPD	同上，按前缀门控	教师自身前段与后段位移的方向一致

关键差别在证据的出处：OPD2 的证据里有学生（teacher-student 对比），RG-OPD 的证据里有 verifier，Waypoint-OPD 的证据只有教师自己的训练轨迹。这让它在「迁移期不查 verifier」这条约束下仍然能做出选择性判断。

论文对这条边界写得很克制：

“This agreement is a weighting criterion, not a guarantee of correctness.”（§6）

3 实验结果

3.1 主表

教师是 Qwen3-4B：Initial 24.84 → Waypoint 51.82 → Final 56.13（数学，七项基准 mean@32 的平均）。

学生	Base	OPD	OPD2	Direct-OPD	Waypoint-OPD	对 Direct-OPD
Qwen3-8B	26.04	51.04	51.46	53.96	56.14	+2.18
Qwen3-14B	27.32	56.17	52.83	57.61	59.20	+1.59
Qwen3-30B-A3B	28.03	51.22	52.68	55.96	57.85	+1.89

代码侧（五项 mean@8 的平均，教师 Initial 37.64 / Waypoint 52.22 / Final 55.37）：8B 50.59→53.25（+2.66）、14B 56.30→57.82（+1.52）、30B-A3B 56.35→57.54（+1.19），15 项比较全赢。

三条值得单独拎出来的读数：

模仿 Final 教师远差于传递位移。8B 代码上 OPD 只拿到 43.91，Base 是 41.03，两分多点；Direct-OPD 拿到 50.59。Direct-OPD 那条线的核心结论在这里被跨尺度、跨两域复现了。
学生超过教师。14B 与 30B-A3B 在数学上比 Final 教师的 56.13 高 3.07 与 1.72 分，代码上高 2.45 与 2.17 分；8B 数学 56.14 与教师的 56.13 几乎重合。
样本效率。教师 RL 用了 1200 步 × 128 prompt × 8 rollout ≈ 123 万条 rollout 换来 +31.29 分；学生迁移只用 100 步 × 256 prompt × 1 rollout = 2.56 万条，约教师的 2%，换来 +29.82 到 +31.88 分。

3.2 消融

Qwen3-8B 数学上的三个对照（都保留中心化与 KL）：

变体	有效乘子	Avg.
Waypoint-OPD	逐前缀，批均值 0.8	56.14
No normalization（ $\kappa_B=1$ ）	逐前缀，批均值 ≈ 0.73	55.22
No gate（ $g_t=1$ ）	全域常数 0.8	53.50
Shuffled gate（批内随机置换）	逐前缀错位，批均值 0.8	51.20
Direct-OPD	—	53.96

Waypoint 位置敏感性（附录 F）：第 500 / 600 / 700 步三个切点给出 56.18 / 56.14 / 56.13，总幅度 0.05 分。训练时间（附录 H）：8 卡 H20 上 100 步，Waypoint-OPD 8h02m21s 对 Direct-OPD 8h21m03s，快 3.73%；原因在生成侧——100 步里有 87 步平均响应更短，截断率从 14.83% 降到 11.97%。

4 个人分析

4.1 亮点

把中间检查点从「目标」改成「证据」，是这条线上最干净的一次重新定位。 已有的中间检查点用法都把它当被模仿的对象或课程的一档（Cho & Hariharan 2019；Pro-KD；progressive distillation）。本文的 $u_t+v_t=d_t$ 恒等式说明 Waypoint 不进入被传递的量，它只决定这个量被怎么拆。这个拆法把「要不要这个位移」和「位移有多大」彻底分开，是一个可以独立复用的想法。

符号一致性很硬，量级没有支撑。 21 项数学比较赢 19 项、15 项代码比较全赢、Fig 3 的 15 个基准–检查点比较赢 13 个。符号检验的双侧 p 分别是 $2.2\times10^{-4}$ 、 $6.1\times10^{-5}$ 、 $3.7\times10^{-3}$ ——方向这件事是真的。但三张主表一行误差棒都没有，全文 grep 不到 seed，单次运行；代码 30B-A3B 的 +1.19 落在任何合理的噪声带里。论文没有做这个符号检验，也没给方差。

论文自曝的限定写得比同类工作诚实。 附录 A.1 明写方向一致不保证监督有益，§5.3 明写消融的差额「conditional on the retained components, not independent additive contributions」，并承认剩下的增益不能全算给门控。这三条限定正好盖在下面每一条质疑的射程内。

4.2 局限性

① 归一化把「衰减」抵消掉了：门控在总量上是一次恒等变换，真实操作是硬删除。

$\kappa_B=\tau/\overline{g}$ 的构造让 $\overline{\kappa_B g_t}=\tau=0.8$ 恒成立。用附录 G 的数反推：末 20 步门均值 0.683、零门比例 16.59%，于是非零门的均值是 $0.683/0.8341=0.8188$ ，乘上 $\kappa_B=0.8/0.683=1.171$ 得到 0.96；前 20 步同法算得 0.86。也就是说，活下来的前缀拿到的是无门控强度的 0.86–0.96 倍，几乎等于原样放行；被删掉的 7.26%→16.59% 拿到 0。

摘要里 “suppressing it when they point in opposing directions” 读起来像整体缩放，实测是按一致性做二值删除 + 对幸存者按原强度放行。这个区别决定了它跟谁像：它不是 GRPO 那种优势缩放，更接近响应级掩码（本专栏写过的 CARM 就在同一格）。

② 门的大小与被门控对象的大小机械相关，shuffle 消融分不开两种解释。

$\lVert d_t\rVert^2=\lVert u_t\rVert^2+\lVert v_t\rVert^2+2c_t\lVert u_t\rVert\lVert v_t\rVert$ ，在两段范数固定时 $\lVert d_t\rVert$ 随 $c_t$ 单调上升。等范数下前缀的实际权重 $\kappa\,g_t\lVert d_t\rVert\propto c\sqrt{2(1+c)}$ ： $c=1$ 与 $c=0.5$ 之比为 2.31，而「按一致性线性加权」应是 2.00。门是 $c$ 的超线性函数。

于是存在一个与论文叙事同等自洽的替代解释：门有用的原因是它放大了本来位移就大的前缀，不是因为它识别出了可信的方向。shuffle 消融一起打破了「配对正确」与「幅值相关」两件事，无法分离。要分离只需一条对照臂——把 $d_t$ 归一化到单位范数再门控，或用一个与 $\lVert d_t\rVert$ 幅值匹配的随机门。附录 G 给了门控后的逐前缀范数（末 20 步 0.0855 → 归一化后 0.1002），恰恰没给同批前缀上未门控的范数，这个替代解释于是无从检验。

③ 新超参没扫，扫描预算花在了最不敏感的量上。

$\tau=0.8$ 是方法引入的新旋钮，且它直接决定整体步长； $[\kappa_{\min},\kappa_{\max}]=[0.75,1.5]$ 实测 $\kappa_B\in[0.955,1.223]$ ，从未碰到边界，是个死参数。消融预算却给了 Waypoint 位置（500/600/700，幅度 0.05 分），而这个切削区间全都落在教师总增益的 86% 以后（Waypoint 600 已达 51.82，Final 56.13）——三个切点几乎切在同一个位置，测不出东西是预期的。真正有区分力的是第 100 或 200 步的早期切点，表里没有。

幅值那三行也提示 $\tau$ 很关键：全域乘子 1.0 → 53.96、0.8 → 53.50、逐前缀 0.8 → 56.14、逐前缀 ≈0.73 → 55.22。从 1.0 降到 0.8（降 20%）掉 0.46 分，从 0.8 降到 0.73（降 9%）掉 0.92 分——单调性都断了。这条非单调本身就是证据：1 分级别的消融差在单次运行里不可读。

④ 零和结构把更新锁在学生自己的 top-16 里。

附录 A.2 给出 $\sum_{a\in\mathcal{K}_t}A_t(a)=0$ ，且梯度只在 $\mathcal{K}_t$ 上非零（Eq. 16）。一阶意义下这意味着 top-16 集合的未归一化总质量不变，更新只在这 16 个候选之间重排；排在第 17 位的 token 拿不到任何梯度。Direct-OPD 把奖励打在采样 token 上，反而能把概率质量拉进采样位置。

这条限制连带削弱了 Table 3 的对照结构：「No gate」不是 Direct-OPD 的 0.8 倍，它保留了中心化、top-16 支撑与 $q$ 加权，跟 Direct-OPD 不是一个目标函数。论文自己点了这一句：

“The remaining gain cannot be assigned entirely to gating because centering and other differences from Direct-OPD are also retained.”（§5.3）

⑤ 缺一条学生侧 RLVR 对照臂。

迁移用的 DAPO-Math-17K 与 Codeforces 都有可验证答案，论文自己写 “Answer graders are used only for evaluation”，同一个 8×H20 节点刚跑完教师 1200 步 GRPO。也就是说「学生自己跑带 verifier 的 RL」这条臂是可行的、没跑。缺它，+2.18 只能在蒸馏家族内部定价，无法回答「这 2.18 分是不是本来就该来自 verifier」。

⑥ 门随训练下降的曲线被读成了教师侧信息。

附录 G：门均值 0.810 → 0.683，零门比例 7.26% → 16.59%。论文的解释是这反映「教师一致性在学生演化出的前缀上变差」。但门是在学生自己定义、且随训练漂移的支撑集上算的；学生分布变尖会改变 $q_t$ 的集中度，进而改变两个中心化向量之间余弦的测量条件。要区分两种解释，只需在一份固定的基座学生 rollout 上重算门随步数的曲线。附录 A.1 那句限定——

“This comparison holds at fixed student prefixes and weights; subsequent training trajectories can differ.”（Appendix A.1）

——正好覆盖这个场景，论文只把它套在了 $u+v=d$ 上。

⑦ 低范数回退给的是满权重。 任一段中心化范数 ≤ $10^{-8}$ 时 $g_t=1$ 。方向无法定义的位置拿到最大信任，与门的设计意图相反。触发率全文未报。

⑧ 验证集与报告集重叠。 两个域都用 AIME 2024 选 checkpoint，而 AIME 2024 是七项被报告的数学基准之一。Table 8 里 AIME24 恰是唯一步骤 500 与 700 反超步骤 600 的列，这一列的噪声也最大。

4.3 对大模型领域的影响

蒸馏这条线近一年在做同一件事：把「教师给什么」改成「教师的哪一部分该被复制」。OPD2 用 teacher-student 符号一致，RG-OPD 用 verifier 优势，Prune-OPD 用支撑重叠，EOPD 用教师熵，PW-OPSD 用 token 位置。Waypoint-OPD 加的是第一个完全来自教师训练过程内部、且迁移期零 verifier 调用的证据源。这几种证据并不互斥，可以叠。

它们也共用一个没人回答的问题：门控证据与「这个位移是否真的有用」之间到底有多强的相关。本文是这批工作里唯一做了 shuffle 对照的，而 shuffle 的结果（51.20，比无门控低 2.30）只证明了「配对本身有信息」，没证明「配对里的信息是可信度」。把这一点测清楚——比如用留一法看被门放行的前缀在学生的最终答案上是否真的更常出现——是这一族下一步该补的账。

对工程侧的判断相对清楚：一次额外冻结打分换 1.19–2.66 分，且因为响应变短整体墙钟还降了 3.73%，在「教师 RL 已经跑过、要复用到多个学生」的场景里是划算的。

5 实践启示

可以借鉴的技术

三检查点打分缓存。Initial / Waypoint / Final 三个冻结教师对同一批 top-16 候选打分，一次前向三份结果，Waypoint 那份平时不用、只在算门时用。任何已经在做 Direct-OPD 的流水线，加装这道门只需多存一个检查点，不需要重跑 RL。
批级门均值归一化（Eq. 11）是个通用件。任何逐 token / 逐前缀的门控都会顺带改掉全局步长，导致「门有用的原因是它把步子调小了」。配一个 $\tau$ 归一化把平均门值钉住，门就只做重分配、不做缩放。这个技巧可以直接搬到响应级掩码、token 选择、权限门控上。
$q_t$ -中心化 + top- $k$ 稠密候选信用。把逐候选系数做成零和（附录 A.2），softmax 的公共项自动消掉，梯度就是系数本身，实现上很省。需要注意它的代价：更新被锁在 top- $k$ 内。
门控诊断应当成为默认交付物。门均值、零门比例、归一化乘子、逐前缀信号范数——这四个量的随步数曲线（本文附录 G 的四张小图）比任何 ablation 都能说明门在干什么。上面 ①②两条质疑全靠这张图才提得出来。

潜在应用场景

小教师 → 大学生的跨尺度迁移：4B 教师的 RL 位移搬到 8B / 14B / 30B-A3B，学生反超教师 1.72–3.07 分。教师比学生弱这件事不构成障碍。
教师 RL 成果的多路复用：一次教师 RL 服务多个学生规格，迁移侧无 verifier、无额外教师训练。
没有 verifier 的域：门的证据完全来自教师自身轨迹，是这批选择性蒸馏方法里唯一不要求迁移期奖励信号的。
长度敏感的服务场景：截断率从 14.83% 降到 11.97%，对 16k 生成预算下的推理成本有直接意义。

落地前该自己验的三件事

先复现 4.2① 的 0.86–0.96 passthrough：如果确认门只是删掉 7%–17% 的前缀、其余原样放行，那么「一致性加权」的叙事可以换成更便宜的实现——直接做一个二值掩码加一个 $\tau$ 归一化，不用算加权范数与余弦。
扫 $\tau$ 而不是扫 Waypoint 位置。 $\tau$ 决定整体步长且没有扫描数据，Waypoint 位置在 500–700 之间只有 0.05 分的活动空间。真要测切点，取第 100–200 步。
补 $\lVert d_t\rVert$ 归一化后再门控的对照臂，把「幅值放大」与「可信度筛选」分开。这一步决定该机制值不值得长期投入。

参考文献

Hou, B., Jiang, G., Quan, G., Li, W., Feng, W., Liu, G., & Zhang, Y. (2026). Waypoint-OPD: Transferring RL-induced policy shifts via gated on-policy distillation. arXiv:2610.21601. 阿里云，v1 2026-10-15；代码 github.com/hhhbxloveai/WaypointOPD。

Feng, S., Gao, H., Chi, H., Wu, H., Zhang, Z., Jiang, Z., He, B., Ma, W., Zhang, Y., & Zhou, H. (2026). Weak-to-strong generalization via direct on-policy distillation. arXiv:2607.05394. Direct-OPD 原论文，本文的直接基线。

Heo, B., Hwang, J., Yun, S., & Han, D. (2026). On-policy delta distillation. arXiv:2607.15161. OPD2，用 teacher-student 符号一致做门控。

Akhondzadeh, M. S., Lingam, V., Tejaswi, A., Ekbote, C., Sanghavi, S., & Bojchevski, A. (2026). Reward-gated on-policy distillation. arXiv:2607.04037. RG-OPD，用 verifier 优势做轨迹级门控。

Agarwal, R., Vieillard, N., Zhou, Y., Stanczyk, S., Garea, S. R., Geist, M., & Bachem, O. (2024). On-policy distillation of language models: learning from self-generated mistakes. ICLR 2024. 标准 OPD。

Liu, X., Wang, X., Ma, Y., Zhang, Y., & Xiao, C. (2026). When are teacher tokens reliable? position-weighted on-policy self-distillation for reasoning. arXiv:2605.21606. PW-OPSD，用 token 位置做证据。

Yang, Z., Guo, Z., Song, Y., Xu, M., Wang, Y., Wang, Y., Liang, X., & Tang, J. (2026). Prune-OPD: efficient and reliable on-policy distillation for long-horizon reasoning. arXiv:2605.07804. 用支撑重叠做证据。

Jin, W., Min, T., Yang, Y., Wei, D., Zhou, Y., Kadhe, S. R., Baracaldo, N., & Lee, K. (2026). Entropy-aware on-policy distillation of language models. arXiv:2603.07079. EOPD，用教师熵做证据。

Park, Y., Bae, S., Jung, H., Ko, J., Choi, Y., Kim, Y. J., Cameron, P., Courville, A., & Yun, S. (2026). Eliciting weak-to-strong generalization with on-policy reverse distillation. arXiv:2609.08798. OPRD。

Li, Y., Zuo, Y., He, B., Zhang, J., Xiao, C., Qian, C., Yu, T., Gao, H., Yang, W., Liu, Z., et al. (2026). Rethinking on-policy distillation of large language models: phenomenology, mechanism, and recipe. arXiv:2604.13016.

Cho, J. H., & Hariharan, B. (2019). On the efficacy of knowledge distillation. ICCV 2019. 中间检查点用于蒸馏的早期证据。

Shao, Z., Wang, P., Zhu, Q., Xu, R., Song, J., Bi, X., et al. (2024). DeepSeekMath: pushing the limits of mathematical reasoning in open language models. arXiv:2402.03300. GRPO。

Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv:1707.06347.

Yang, A., Li, A., Yang, B., Zhang, B., Hui, B., Zheng, B., et al. (2025). Qwen3 technical report. arXiv:2505.09388.