精读：Residual Advantage——让教师只重分信用，不改响应总分

1 论文概览

一句话总结：Residual Advantage（RA）把教师与学生的概率差 $d=q-p$ 当成一步奖励，减掉这个奖励在学生自己策略下的状态价值 $\langle p,d\rangle$，再在响应内做零均值中心化，得到一个只重分信用、不改响应总分的 token 级旁支路标签 $A_t=A^V+\lambda(A_t^d-\overline A^d)$。

核心问题：RLVR 给整条响应一个结果标签，响应内部每一步共用一个数；OPD 在学生走过的每个前缀给 token 级监督，可它的逐点信号 $\log(q(a)/p(a))$ 只说两边在那个 token 上差多远，说不出教师多出来的概率质量落在词表的哪些位置上，而且在教师几乎不给概率的 token 上无界发散。两条路各有缺口，于是问题变成：教师的知识该以什么形态进 RLVR，才能让响应级标签仍然由验证器说了算、探索空间也不被压掉。

主要贡献

1. 一个内积给出三个性质：$A_s^d(a)=\langle e_a-p_s,\ q_s-p_s\rangle$ 是把概率往 $a$ 上搬时 $\tfrac12\lVert p-q\rVert_2^2$ 的下降速率；它在前缀上的期望更新正是这个距离对 logit 的梯度；它被师生距离乘「学生留给其他 token 的概率」界定。有界、无需调度、无需阈值、无可学习部件。
2. 通道分离：中心化让 $\sum_t c_t A_t=A^V$ 恒成立，验证器决定响应整体好坏，教师只决定信用在步间怎么分。标签空间里两者正交，$\lVert\mathbf A\rVert_{2,c}^2=(A^V)^2+\lambda^2\operatorname{Var}_{t\sim c}(A_t^d)$。
3. Co-RA：用同一批 rollout 的验证器优势训一个教师侧 LoRA，让教师熟悉学生解法路径上的推理，下一轮用适配后的教师供残差。
4. 实证：两个学生（Qwen3-1.7B-Base / 4B-Base）、两个估计器（GRPO / REINFORCE++）、三个数学基准、两个指标共 24 组三种子均值全部提升；两种组合都超过纯教师 OPD；Co-RA 再加 1.03–1.45 个宏平均分。
5. 反向证据：把残差换成对数比、去掉状态价值、去掉中心化、改成全词表 $L_2$ 直接损失、给教师 top token 额外加一条监督分支，五种改动全部掉点。

2 方法详解

架构概述：学生 $p_\theta$ 生成响应，验证器给 $R_i=y_i\cdot\operatorname{clip}((12000-L_i)/4000,0,1)$，基础估计器做组内或批内标准化得 $A^V$。RA 只改进入 PPO 裁剪代理的那张 token 级标签，不动损失形式、不动采样、不动裁剪。教师侧全部量在 rollout 策略上算好并冻结，没有梯度穿过它。

关键创新点一：奖励是概率差，不是对数比。$R_s(v)=q(v\mid s)-p(v\mid s)$。对数比在 $p(a)\to0$ 时按 $\log(1/p(a))$ 发散，概率差被 $\|p-q\|_2$ 卡住。论文自己引的命题给出

$|\delta_t|\le\tfrac52\lambda(1-c_t),\qquad \lVert\delta\rVert_{2,c}\le\sqrt2\,\lambda\Big(\sum_t c_t\lVert p_t-q_t\rVert_2^2\Big)^{1/2}.$

第二条界随师生收敛自行收紧，这就是「指导无需调度地淡出」的来源。

关键创新点二：减掉学生自己的状态价值。$V_d^p(s)=\mathbb E_{v\sim p}R_s(v)=\langle p_s,d_s\rangle$ 与采到哪个 token 无关，只随位置变。减掉它之后剩下的才是「相对学生自己会考虑的其余候选，教师是否更偏向这个 token」。消融里这一步值 2.09 个宏平均分，是全部消融中最大的一笔。

关键创新点三：响应内中心化。$\delta_t=\lambda(A_t^d-\overline A^d)$ 保证 $\sum_t c_t A_t=A^V$。不做中心化时，响应均值会被 $\lambda\overline A^d$ 平移——在 256 条离线响应上这个量均值只有 $+0.03$、SD $0.30$，但短响应（$<1000$ token）的 SD 有 $0.32$，8% 的响应绝对值超过 $0.5$。换成原始残差（不减状态价值）时均值是 $-0.32$、SD $0.73$，26% 的响应超过 $0.5$，方向还为负。

与基线方法的区别：本专栏此前写过的 OPD 族改的是「教师分布里哪些位置允许比较」（跨分词器对齐覆盖度）与「一条 query 够不够」（状态覆盖吸收率）；ZCPO 改的是参考 KL 接在损失支还是组内系数上。RA 与它们都不在同一格——它把教师放进奖励通道，用「一步奖励 − 状态价值 + 响应内中心化」这套优势学的标准件包装，从而天然带上零均值这条约束。纯教师 OPD 最小化全词表 $\mathrm{KL}(p_t\lVert q_t)$，没有验证器项，也就没有这条约束。

“The verifier decides how good the response is as a whole, and the teacher decides how that credit is shared among its steps.” ——§2.2 Combining with verifier feedback

这条恒等式只在标签空间成立。论文在点明了这一点：乘上不同的 score 向量后，零均值指导项的梯度与验证器的梯度并不正交，单个 token 上还能压过它（附录 A.3、A.7）。

3 实验结果

设置：DAPO-Math-17K（17,398 题）训两轮，128 prompt/批，GRPO 每 prompt 8 条、OPD 与 REINFORCE++ 每 prompt 1 条，温度 1.0，12,000 token 上限。评测取第二轮末 checkpoint，每题采样 8 条、温度 0.8，MATH-500（500 题）、AIME24 / AIME25（各 30 题），报 Avg@8 与 Pass@8，宏平均三基准等权，三种子。$\lambda=10$ 在训练 prompt 的验证划分上选（附录 B.5）。

配置	1.7B 宏 Avg@8	1.7B 宏 Pass@8	4B 宏 Avg@8	4B 宏 Pass@8
OPD（纯教师）	27.45	41.30	34.61	49.18
REINFORCE++	25.67	39.44	33.86	46.69
+ RA	29.25	45.20	37.12	53.02
+ Co-RA	30.70	46.38	38.39	50.78
GRPO	27.49	40.40	35.83	48.02
+ RA	29.86	44.75	37.57	51.91
+ Co-RA	31.09	44.29	38.60	53.00
Qwen3-8B 教师	43.95	59.25	43.95	59.25

宏平均 Avg@8 涨 1.74–3.58 分，Pass@8 涨 3.89–6.33 分。按种子配对（同种子相减，n=3）算 t 值：1.7B REINFORCE++ 是 $t=14.8$，1.7B GRPO $t=8.2$，4B REINFORCE++ $t=20.3$，4B GRPO $t=40.1$——四组全部远超 df=2 的双侧临界 4.30。本专栏往期常常在这一步把 headline 打回噪声量级，这一篇扛住了。

消融（1.7B + REINFORCE++，与完整 RA 配对）：

变体	与 RA 的差（Avg@8）	配对 t
去掉状态价值基线	−2.09	6.62
去掉响应中心化	−0.54	8.12
两者都去掉（原始残差）	−1.73	5.20
换成裁剪中心化对数比	−1.21	17.90
换成全词表 $L_2$ 直接损失	−1.23	4.45
$\lambda=5$	−0.41	1.77
$\lambda=20$	+0.04	−0.04

三个读法。第一，增益里最大的一块（2.09 / 3.58 = 58%）来自减掉一个与采到哪个 token 无关的量——$\langle p_t,d_t\rangle$ 只随位置变，留着它就等于往信用里掺了一项动作无关的偏置。第二，去掉中心化只值 0.54 分，尽管 t 很高；也就是说「零均值」这条设计约束的实际收益小于它的理论分量。第三，$\lambda$ 从 5 到 20 的四倍区间里分数只动 0.45，而 $\lambda=0$ 到 5 就吃掉了 88.5% 的涨幅；$\lambda=20$ 的种子 SD 从 0.25 跳到 1.68。有指导就够了，指导多强几乎无所谓，强过头只剩方差。

指导落在哪：256 条离线响应、176,628 个 token 上按学生概率分桶。学生概率 $\ge0.9$ 的 token 占 60.8%，只拿到 0.4% 的指导质量；$0.1\le p(a_t)<0.5$ 的 token 占 11.8%，拿到 58.9%（5.0 倍）；而教师给采样 token 的概率 $<0.1$ 的那 3.8% token，RA 只给它 4.1%（1.1 倍），中心化对数比给它 50.1%（13 倍）。这是「有界性」真正兑现的地方，也是对数比变差最直接的一条证据。

直接损失为什么输：全词表 $L_2$ 损失在每个前缀上的期望教师梯度与未中心化的残差标签相同（余弦 0.99），却比 RA 低 1.23 分。差别在更新怎么与验证器分摊——RA 有 64% 的梯度质量落在抬高正确响应或压低错误响应上，直接损失只有 49%；经过裁剪与 Adam 后，教师占更新的份额是 0.28 对 0.44，RA 的更新方向与验证器更接近（余弦 0.93 对 0.80）。教师占得越多，分数越低。

4 个人分析

亮点

• 「通道」这个词被做实了。过去把教师塞进 RL，要么当损失（蒸馏项），要么当惩罚（KL 项），两者的共同毛病是会和验证器抢响应级总量。RA 用一次中心化把这件事在标签层面钉死，剩下的自由度只有「信用在步间怎么分」。这是一个可以在别的信号源上复用的结构：任何外部稠密信号都能走「一步奖励 → 减学生状态价值 → 响应内中心化 → 加进 $A^V$」这条管道。
• 概率差替代对数比这一步有硬证据撑着。表 15 的 13 倍倍率不是修辞，是「对数比把一半的指导预算花在教师几乎不给概率的 token 上」的直接计数。
• Co-RA 的悖论有意思：适配后的教师自己掉 0.8–2.3 个宏平均分，被它指导的学生反而涨 1.03–1.45 分。论文把它总结成一句——

“it is a better guide, not a better solver” ——§3 Experiments

这条观察把「教师强度」与「指导适配度」解耦了，是目前 OPD 文献里少见的角度。

• Pass@512 的反向对照做得对。1.7B REINFORCE++ 上，RA 相对未训练学生的宏余量从 $K=8$ 的 13.4 涨到 $K=512$ 的 16.9，纯验证器训练反而从 7.6 收窄到 6.6。这正是 Yue et al. 描述的「RLVR 多半在 sharpening」现象的一个反例，且用最大的 $K$ 去验。

局限性

• 宏平均的权重分配放大了小样本列。三个基准等权，而 AIME24 / AIME25 各 30 题、MATH-500 有 500 题：94% 的题只拿三分之一的权重。按题数加权重算四组增益，1.7B REINFORCE++ 是 3.58 → 3.87，其余三组全部变小：1.7B GRPO 2.37 → 2.15、4B REINFORCE++ 3.26 → 2.55、4B GRPO 1.74 → 1.04。Avg@8 在 AIME 上的单样本粒度是 $100/(8\times30)=0.417$ 分，在 MATH-500 上是 $0.025$ 分，粗 16.7 倍。4B GRPO 那一列里，样本最多的 MATH-500 只涨 0.91，涨得最猛的 AIME24 只有 30 题。
• Prop 1(iii) 的第一条上界在 operating point 上是空的。$\lambda=10$、$c_t=1/M$、$M\approx1000$ 时上界约 25，而图 5a 实测的平均 $|\delta_t|$ 从 0.43 降到 0.30——实测约为上界的 1.2%–1.7%。真正起作用的是第二条与距离相关的界，可 $\lVert p_t-q_t\rVert_2$ 的实测分布全文没有，只有一条平均绝对指导幅度曲线。
• 教师只有一个，且与学生同宗同词表。Qwen3-8B non-thinking 对 Qwen3-1.7B / 4B-Base。「有界性带来稳健」是在单一师生距离下测出来的；换一个更远或异族的教师，$\lVert p-q\rVert_2$ 变大、$\lambda=10$ 的指引幅度跟着变大，是否还在安全区没有答案。$\lambda$ 只在 $\{5,10,20\}$ 上扫过，也只在 1.7B + REINFORCE++ 一个配置上扫过。
• 教师侧的开销一个数都没有。附录 B.9 原文：“Wall-clock and peak-memory measurements are not reported.” RA 每条 rollout 加一次教师前向；GRPO 配置两轮共调度 276,480 条响应。按参数量比，Qwen3-8B 前向是 1.7B 学生的 4.7 倍、4B 学生的 2 倍，且要在每个 token 上跑。$\langle p,d\rangle$ 本身是全词表和，需要教师在每个位置的完整词表分布——这意味着 RA 无法与只暴露 top-$k$ logprob 的推理服务配合，而论文引言恰恰把 top-$k$ 散度列为 OPD 的常见变体之一。若把一整批 8 条 × 1000 token 的 logits 以 fp32 物化，约 4.9 GB（本专栏按 15.2 万词表推算，论文未报）。
• teacher-peak 分支的结论带混淆。§4.4 想论证「更密的教师监督没用」，可分支给教师 top token 的验证器部分被钳在 $[A^V]_+$，按论文自己的说法 “its verifier part can only raise a response’s total label” —— 它在错误响应上也注入正标签。于是这一臂一并改了监督密度与验证器标签的符号，而论文自陈 “it does not isolate a mechanism”。
• 零方差组留了一个未测通道。附录 B.3 写明 “Groups with identical returns stay in the batch with zero advantages”，这些组在 GRPO 下 $A^V\equiv0$，加 RA 后标签全部来自 $\delta_t$，等于把原本零梯度的组复活成纯教师塑形。论文没有报这批组的占比，也没有「只在零方差组上加 RA」这一臂。反向证据是：没有组结构的 REINFORCE++ 增益（3.26 / 3.58）反而大于有组结构的 GRPO（1.74 / 2.37），说明这个通道不是主因——主因更像是「REINFORCE++ 本来就没有任何组内信用分辨率，token 级指导对它是雪中送炭」。
• 迭代方法只跑了两个 epoch。评测固定取第二轮末 checkpoint（附录 B.4）。对 Co-RA 这种靠教师逐轮适配的方案，270 个 rollout 批是很短的窗口，也没有更长训练或最佳 checkpoint 的对照。
• 域与规模的边界：只做数学，只有一个训练集，教师 macro 43.95，最好的学生 38.60，学生没有追上教师。

对大模型领域的影响：RLVR 与 OPD 过去被当成两条并列路线，各自改各自的损失。RA 给出的合成方式是「教师进奖励通道 + 零均值约束」，代价只是每条 rollout 一次教师前向，不需要反事实续写、不需要单独拟合 value head。如果这条通道在代码与工具调用域也成立，「RLVR 加一个教师」会比「先蒸馏再 RL」的两段式配方更省事——附录 D.5 已经给了个苗头：同预算下 OPD 后接 REINFORCE++ 得 28.39，REINFORCE++ 加 reverse-KL 损失得 26.14，都不如 RA+REINFORCE++ 的 29.25。

5 实践启示

可以借的技术

1. 外部稠密信号的通用管道：拿到任何 token 级外部评分后，先减它在当前策略下的期望，再在响应内做零均值中心化，乘一个权重加进 $A^V$。这三步保证外部信号只重分信用、不改响应总量，也不需要一个学习式的价值头。过程奖励模型、检索相关性打分、语法/格式校验器都能走这条管道。
2. 用概率差而非对数比。凡是现在用 $\log(q/p)$ 或 $\log p$ 做逐点标签的地方，都可试 $q-p$，特别是在分布尾部。表 15 的 13 倍倍率说明这不是细节差异。
3. 减掉动作无关的项。$\langle p_t,d_t\rangle$ 与采到哪个 token 无关却值 2.09 分——做 token 级信用时，先检查标签里有没有只随位置变、不随动作变的分量，有就减掉。
4. 教师侧适配不必追求教师自己变强。Co-RA 的教师越训越差而学生越训越好，说明「指导适配度」可以是独立于「解题能力」的优化目标。
5. 把「教师占更新的份额」当诊断量。0.28 对 0.44 这一对数配上 1.23 分的差距，比任何 loss 曲线都更能说明外部信号有没有喧宾夺主。

潜在应用场景

• 有强教师、弱学生、且验证器可靠的域（数学、竞赛编程、SQL、形式化证明）。
• 过程奖励模型已经存在、却不知道怎么和结果奖励并存的流水线——走 RA 的管道即可，不需要重训一个 critic。
• 「先蒸馏再 RL」的两段式配方可以换成单段式，省掉一次完整的蒸馏阶段。
• 需要先确认三件事：教师前向的墙钟能否接受、教师能否吐出完整词表分布、以及 30 题量级的小基准别再用来撑宏平均。

参考文献

Chen, X., & Pang, Z. (2026). Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards. arXiv:2610.11519 [cs.CL]. Harbin Engineering University / Harbin Institute of Technology / Tencent.

相关精读

• 本篇把本专栏连续三十五期的主线再挪一格：此前三十四期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新」，这一期问的是教师的意见从哪条通道进 RL——作用层从「信号长什么样」与「正则接在哪」转到「外部信号走损失支、惩罚项还是奖励通道」。
• 精读：ZCPO——把参考 KL 从损失支搬进组内系数
• 精读：SRD——把事后回顾蒸成事前先见
• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点
• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突
• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移
• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据
• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩
• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账
• 精读：ARCUS——prompt 的选择也有一条弧
• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励
• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩
• 精读：OC-GRPO 与离上下文重要性校正
• 精读：不跑 RL，先把新奖励的结果预测出来
• 精读：给 token 级信用一个唯一解，然后把它求和掉
• 精读：把后训练配方本身当成果，再逐阶段对账
• 精读：STAR-E——按惊讶度给 token 重加权 advantage
• 精读：按梯度可估性给 token 分配蒸馏监督
• 精读：TrimSFT——按 logit 间隔剪掉 SFT 里的低信息 token
• 精读：ESFT 与端点 SFT 对中段推理链的裁剪
• 精读：把中间状态的价值估计整体消掉
• 精读：ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失
• 精读：SP³O——一条响应里只给三个位置价值监督
• 精读：教师引导的课程 RLVR——把解不出的题变成可解的题
• 精读：DataFlex-RL 与均匀采样的替代策略
• 精读：NGU 与 RL 里的马太效应
• 精读：按排序可分辨性做 RLVR 数据联合工程
• 精读：模型与外壳共演化时的同策略校正
• 精读：OPD-then-RL——顺序摆信号胜过同 step 混信号
• 精读：One-Shot OPD 与状态覆盖吸收率
• 精读：Compile by Training——把 LLM 降级为构建期依赖
• 精读：Terminal-Universe——轨迹反向造环境
• 精读：OPSA——无教师的同策略自适应
• 精读：SPADE——把优化对象从轨迹上移到生成器
• 精读：DART-SD——标注单元从轨迹换成状态图