论文精读

精读：把每个奖励的功劳拆回到它自己读的那几个 token 上

把 GDPO 的逐奖励优势按「去掉该 verifier 的信息后，模型在该位置的下一 token 分布位移」重新摊到 token 上，不需要过程奖励模型、不需要 token 标注。三任务六模型平均分全部过 GDPO，但论文自己量的定位只到均匀分配的三倍：约束的检查区只拿到 27.6% 的位移，八成以上的位移落在 verifier 根本不读的 reasoning 区。定位最集中的工具调用（6 倍）反而增益最小（3B 非 Live +0.13）；消融里联合回放拿走 1.60 总增益中的 1.01；β 的扫描被那个二阶矩界抵消掉一半。

论文： Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

作者： Skylar Zhai, Haonan Wang, Zhining Liu, 等

arXiv： 2610.21439

2026年10月19日多奖励RL token级信用分配特权信息 GRPO GDPO 指令遵循工具调用 text-to-SQL

1 论文概览

本文是 arXiv:2610.21439（明尼苏达大学 / 新加坡国立 / UIUC / USC / 宾大 / MBZUAI，cs.LG，v1 2026-10-15）。本专栏前四十二期改过信号怎么造、怎么记账、从哪条通道进来、以什么形状落到参数上、奖励分几档；这一期改的是一笔奖金发给谁——整条响应的每个 token 平分同一份 advantage，还是每个奖励只付给它自己读的那几个 token。

一句话总结：用「去掉某个 verifier 的信息之后，模型在该位置的下一 token 分布变了多少」当相关度，把 GDPO 的逐奖励优势按这个相关度重新摊到 token 上；文本到 SQL、指令遵循、工具调用三套任务六个模型上平均分都压过 GDPO，代价是训练步时多 10%–20%。

核心问题：多奖励 RL 已经把「几个奖励怎么合成一个响应级优势」解决得差不多了——GDPO 逐奖励标准化后求和，SAW 一系再按组内变异系数调权。合成完之后，这笔钱被平均发给响应里的每个 token。格式奖励只读两个标签，执行奖励只看 SQL 那一段，而一份格式扣分照样摊到所有拼对的参数上。论文的问句写得很直：

“Can we identify the tokens relevant to each reward and assign the reward’s advantage mainly to them?”（§1）

主要贡献

把多奖励 RL 的问题从「每个奖励占多少权重」推进到「每个奖励的钱付给谁」，并用一张对照表（Table 8）指出已有七种方法——SAW、DARA、DVAO、SA-MRPO、GD²PO、RVPO——全部停在响应级。
用留一法造上下文对： $P_{\mathrm{all}}$ 挂上全部 verifier 信息， $P_{\setminus k}$ 挂上除第 $k$ 个之外的全部，两次前向的逐 token JS 距离当相关度。不需要过程奖励模型、不需要 token 级标注、不需要额外生成。
分摊公式只有一个旋钮 $\beta$ ，外面再套一个二阶矩上界（Eq. 8），把再分配的能量按构造压到不超过均匀分配的 2 倍。
三个任务六个模型上平均分全部高于 GDPO，并给出定位质量的直接测量（Table 4 与 Fig. 6），这一项在同类工作里少见。

2 方法详解

2.1 从 GRPO 到 GDPO：先解决「谁占多少」

一个 prompt $x$ 采 $G$ 条响应，第 $j$ 条得 $K$ 个奖励 $r^{(j)}_k$ 。组内标准化记作

$\mathcal{G}\big(r^{(j)}_{k}\big)=\frac{r^{(j)}_{k}-\mu_{k}}{\sigma_{k}+\epsilon},$

其中 $\mu_k,\sigma_k$ 是奖励 $k$ 在这一组 $G$ 条上的均值与样本标准差。GRPO 先把奖励加起来再标准化， $A^{(j)}=\mathcal{G}(\sum_k r^{(j)}_k)$ ，于是「格式对、执行错」与「格式错、执行对」拿到同一个优势。GDPO 改成先逐奖励标准化再加总：

$A^{(j)}_{k}=\mathcal{G}\big(r^{(j)}_{k}\big),\qquad S^{(j)}=\sum_{k=1}^{K}A^{(j)}_{k},$

再接一步 batch 级缩放 $A^{(j)}_{\textsc{gdpo}}=S^{(j)}/\mathrm{std}_{\mathcal{B}}(S)$ 。到这里，响应 $j$ 的每个 token 拿到的都是同一个 $A^{(j)}$ 。

2.2 留一法造的上下文对

每个 verifier 判分时都看着某段信息：参考答案、执行报错、某一条约束。论文把这段信息写成文本块 $Z_k$ ，再拼出两个 prompt：

$P_{\mathrm{all}}=P_{0}\oplus Z_{\mathcal{K}_{x}},\qquad P_{\setminus k}=P_{0}\oplus Z_{\mathcal{K}_{x}\setminus\{k\}}.$

两者只差 $Z_k$ 这一块。拿采样时用的 $\theta_{\mathrm{old}}$ 把同一条响应 $y$ 分别喂进这两个 prompt，读出每个位置的下一 token 分布 $p^{\mathrm{all}}_t$ 与 $p^{\setminus k}_t$ ，相关度取归一化后的 JS 距离

$q_{k,t}=\sqrt{\mathrm{JS}\big(p^{\mathrm{all}}_{t}\,\big\|\,p^{\setminus k}_{t}\big)/\ln 2}\;\in[0,1].$

$P_{\mathrm{all}}$ 只回放一次，所有奖励共用；每个奖励各回放一次 $P_{\setminus k}$ 。这条设计细节值得留意：对照组选的是 $P_{\mathrm{all}}$ 而不是原始 prompt $P_0$ ，论文给的理由是对比 $P_0$ 与 $P_0\oplus Z_k$ 会把「多了一段文本」本身的效果也算进去。这个控制做得对。

2.3 分摊与那个上界

$w_{k,t}=(1-\beta)+\beta\,\frac{q_{k,t}}{\bar{q}_{k}},\qquad S^{(j)}_{t}=\sum_{k=1}^{K}A^{(j)}_{k}\,w^{(j)}_{k,t},$

$\bar q_k$ 是这条响应上 $q_{k,t}$ 的均值。均值相关度的 token 权重为 1，更相关的拿得多，每个 token 至少留 $1-\beta$ 。因为 $q/\bar q$ 在响应上的均值是 1， $w$ 的均值也是 1，一条响应的总账不变，只换摆放位置。论文把这句话写成了方法的卖点：

“The weights average to one over each response, so a response keeps its total credit under GDPO and only its placement changes.”（§4.3）

再外面套一层界。把响应 $j$ 的 token 优势写成 $S^{(j)}_{t}=S^{(j)}+R^{(j)}_{t}$ ， $R$ 是零均值的再分配部分，然后在整个 batch 的有效 token 上算

$s=\min\Big(1,\sqrt{\textstyle\sum_{j}T_{j}\,(S^{(j)})^{2}\big/\sum_{j}\sum_{t}(R^{(j)}_{t})^{2}}\,\Big),$

用 $S^{(j)}+s\,R^{(j)}_{t}$ 替换原式。论文对这个界的解释是「等价于把每个权重换成 $1+s(w-1)$ ，保住每条响应的平均优势，并把 token 优势的二阶矩压到均匀分配的两倍以内」。

2.4 与基线到底差在哪

Table 8 把七种同期方法摆在一张表里，差别全在响应级：SAW 按批内变异系数加权，DARA 给稀疏变化的正优势加更大的封顶权重，DVAO 按组内标准差归一，SA-MRPO 按饱和程度打折，GD²PO 丢掉逐奖励符号冲突的响应，RVPO 用 softmin 替代求和。它们的 token 优势那一列写的都是「对 all $t$ 」。MRTPO 那一列是 $\sum_k A^{(j)}_k w_{k,t}$ ，其余七种都能与它叠乘。

两处需要分辨的对照。CoRT 也做 token 级重加权，但重加权的是聚合后的那个优势，不按奖励分开；本文的「联合回放」消融就是这条路的变体，结果见下一节。OPSD 也用特权信息，但它把目标整个换成拟合看过答案的教师分布，奖励不再是优化对象。

3 实验结果

3.1 三套任务的主表

文本到 SQL（Spider 训练 6,915 题，三个二值奖励：格式、可执行、执行结果匹配；100 步，3 个种子）：

模型	方法	六基准平均
Qwen2.5-Coder-3B	Base	53.88
	GRPO	65.37 ±1.18
	GDPO	67.32 ±1.66
	MRTPO	68.60 ±0.15
Qwen2.5-Coder-7B	GRPO	70.93 ±0.32
	GDPO	71.55 ±0.27
	MRTPO	73.15 ±0.19

指令遵循（HIR-16K 前两个子集，5–13 条约束各算一个奖励；300 步，5 个种子；平均是 IFEval Prompt/Inst、IFBench Prompt/Inst、MulDimIF、AdvancedIF Overall/Rubric 七项等权）：Qwen3-4B 上 GDPO 61.37 → MRTPO 62.54（+1.17），Qwen2.5-7B 上 56.67 → 57.36（+0.69）。

工具调用（RLLA 3,920 条，格式与正确性两个奖励；BFCL-v4 单轮）：Qwen2.5-1.5B 的 Non-Live 79.30 → 80.05、Live 67.05 → 68.66；3B 的 Non-Live 82.42 → 82.55、Live 68.86 → 69.58。

3.2 消融：拆开「非均匀」与「逐奖励」

Table 5 在 7B 的文本到 SQL 上做三件事，是全文信息量最大的一张表：

变体	平均
GDPO	71.55
MRTPO	73.15
联合回放（所有奖励共用一个 profile）	72.56
打乱位置（权重值不变、位置随机）	71.03

打乱位置后回落到 71.03，比 GDPO 还低 0.52——论文据此说增益取决于「放在哪」。联合回放拿到 72.56，比 GDPO 高 1.01、比 MRTPO 低 0.59。论文的读法是「增益也取决于给每个奖励各自的分配」。这句话没错，可是账要算清楚：1.60 的总增益里，1.01 来自「非均匀的、由特权信息导出的 token 权重」，只有 0.59 来自「按奖励分开」。前者占 63%。

3.3 定位质量：论文自己量了，数字在 Table 4

指令遵循的每条约束都有已知的检查区（结尾短语的 checker 只读那句话），Table 4 用「位移落在检查区的比例 ÷ 检查区占 token 的比例」量定位：

约束状态	位移占比	token 占比	比值
全部满足（7B）	27.6	10.1	2.7
全部满足（4B）	33.0	11.7	2.8
全部违背（7B）	17.7	9.5	1.9
全部违背（4B）	7.4	1.4	5.1
项目符号行（7B）	89.4	86.3	1.0

单看结尾短语那一行确实漂亮：40% 的位移落在 4% 的 token 上，比值 9.1。把满足的约束合起来看，检查区只拿到 27.6% 的位移，剩下七成落在 checker 不读的地方。项目符号行更直接——比值 1.0，与均匀分配没有区别。

Fig. 6 在文本到 SQL 上给出同一件事的另一面：一个奖励 80% 的位移要靠 26.2%–28.8% 的 token 才能装下（均匀分配是 80%），集中度约 3 倍；分区看，三个奖励的位移都有八成以上落在 reasoning 区，也就是 <think> 里，而 verifier 读的是 <answer> 里的 SQL。

4 个人分析

4.1 亮点

把「相关」变成一个能直接前向测出来的量。 这一步绕开了过程奖励模型和 token 标注，成本是 K+1 次前向。更妙的是留一法选 $P_{\mathrm{all}}$ 当对照——如果只对比 $P_0$ 与 $P_0\oplus Z_k$ ，量到的是「多了一段文本」，而不是「这段信息说了什么」。这个控制做得干净，多数同类实现会漏。

「总量不变、只换位置」是个好约束。 它让方法可以套在任何一个响应级算法上，也解释了为什么能跟 SAW 叠乘还继续涨（7B 上 73.15 → 73.41）。

定位质量被当成一等公民来量。 绝大多数信用分配论文只报下游分数，这篇给了 Table 4 这种「位移落在检查区的比例」的硬指标。这个做法本身值得抄，哪怕它给出的数字对论文不利。

4.2 局限性

（一）摘要的前提被自己的数据推翻。 论文的立论是「每个 verifier 只检查少数位置，所以优势应该只放到那些位置上」。Table 4 说满足的约束只有 27.6% 的位移落在检查区，Fig. 6b 说三个奖励八成以上的位移落在 reasoning 区。两处数据一致地说明：这套机制实际做的事，是把奖励摊到思维链上，而不是摊到被检查的那几个 token 上。对格式类奖励它勉强算对症（标签那一行 2.0 倍），对执行类奖励它把 90% 的账记在了 SQL 之外。论文没有讨论这个落差。

（二） $\beta$ 的扫描被那个界抵消掉一半。 把 $R^{(j)}_t$ 展开：因为 $w-1=\beta(q/\bar q-1)$ ，有 $R_t=\beta R^{1}_t$ ，于是 $s=\min(1,\sqrt{A}/\beta\sqrt{B_1})$ ， $A=\sum_j T_j(S^{(j)})^2$ 、 $B_1=\sum_j\sum_t(R^{1}_t)^2$ 。分两段看：

界不起作用时 $s=1$ ，交付的再分配是 $\beta R^{1}$ ；
界起作用时 $s=\sqrt{A/B_1}/\beta$ ，交付的是 $s\beta R^{1}=\sqrt{A/B_1}\,R^{1}$ —— $\beta$ 被精确约掉。

也就是说，一旦原始再分配的能量越过均匀分配那一档，再怎么加大 $\beta$ 都不会改变交付的 token 优势，只会让 $s$ 变小。Table 6、Table 7 扫的 $\beta\in\{0.25,0.5,0.75\}$ 于是落在一个自带平台期的旋钮上，而论文没有报任何一次运行里 $s$ 的实测值。缺这个数，读者无法判断三档 $\beta$ 的差异来自「 $\beta$ 更大」还是「三档分别落在界的哪一侧」。论文的结论是「最优 $\beta$ 依任务而定，按任务调 $\beta$ 还能继续提」，这句话至少要让位给「 $\beta$ 有一个由 $s$ 决定的有效上界」。

（三）增益的主要来源不是论文强调的那一项。 Table 5 的分解是 63% 对 37%（§3.2）。联合回放每步只多一次前向，与 $K$ 无关；逐奖励回放要 $K$ 次。一个工程团队照这篇做，先上联合回放能拿到三分之二的收益、六分之一的回放成本。论文把这个结果写成「增益也取决于逐奖励分开」，没有把成本收益比摆出来。

（四）定位最准的任务增益最小。 Fig. 6 的两组标注放在一起很刺眼：工具调用的集中度是 13.2%／15.0%（约 6 倍于均匀），文本到 SQL 是 26.2%–28.8%（约 3 倍）。增益反过来了——3B 上工具调用 Non-Live 只涨 0.13，Live 涨 0.72 且标准差 0.66；文本到 SQL 涨 1.28／1.60。「定位得越准、收益越大」这条隐含的因果链在两个任务之间断掉。合理的解释是奖励数：工具调用只有两个奖励，均摊造成的错配本来就小。论文用「增益随奖励数增长」解释，可是按平均列读，3 个奖励的文本到 SQL（+1.28／+1.60）大于 5–13 个奖励的指令遵循（+1.17／+0.69）。支撑那句话的是 IFBench 的 prompt 单列（+2.37／+3.17），不是平均。

（五）自己报的「奖励多」，有一截是空转的。 组内标准差为零的奖励，标准化后优势恒为 0，回放也会被跳过。论文说整体只有 12%–21% 的 response–reward 对被回放，这个数把三个 $K$ 完全不同的任务混在一起报，读者无法还原指令遵循那档的实际回放率。而指令遵循正是「5–13 个奖励」这个卖点的所在。 $K$ 是名义值还是有效值，取决于这个分任务的数。

（六）速度结论活在一个没跑完半个 epoch 的预算里。 Spider 有 6,915 道题，32 prompts/步 × 100 步 = 3,200 道，不到半个 epoch。论文说「7B 在第 60 步追平 GDPO 的最终精度」——那个「最终」是第 100 步的值，而 Fig. 5a 里 GDPO 到第 100 步还在上升。拿一个还在爬的靶子当终点，「收敛更快」只在这个 100 步窗口里成立。

（七）OPSD 那条推论走不通。 论文写：「OPSD 给教师的信息比 MRTPO 多（带推理链的完整参考解），在每个文本到 SQL 基准上仍低于 MRTPO。这说明策略只需要 verifier 已经在用的那些信息，不需要完整参考解。」问题是 OPSD 在 3B 上拿 59.02，连 GRPO 的 65.37 都没打过，比本文最弱的基线低 6.35。一个被自己的目标（top-64 上的前向 KL、固定初始教师）削掉的基线，不能用来论证「不需要更强的信息」。

（八）两处符号翻转没有被讨论。 MulDimIF 上 Qwen3-4B 涨 2.49、Qwen2.5-7B 跌 1.83；BIRD dev 上 3B 跌 0.87（47.13 → 46.26）、7B 涨 1.31。BIRD 是最接近真实部署的那一档（跨库），MulDimIF 是多维约束。平均分把这两处盖住了。

4.3 对大模型领域的影响

这篇的真正贡献不是那 1.3 个百分点，是把「信用分配的粒度」从响应级推到 token 级，并且证明了不需要额外模型也能拿到一个可用的定位信号。这个方向过去被 PRM 的标注成本卡住，现在有了一条零标注的路。它会被大量复现，因为改造成本极低——只要你的任务有 verifier，就有 $Z_k$ 可写。

它也会被误用，因为 Table 4 那个 2.7 倍太容易被读成「定位成功」。真实情况是：定位存在，但精度只到「比均匀好三倍」，离「准确落在检查区」还差七成。 后续工作如果把这条差距当成主目标（比如把 $Z_k$ 写成更贴近检查动作的形式，或者直接拿 checker 的读取区间当弱监督），比继续在 $\beta$ 上做文章有意义得多。

5 实践启示

先量三个数，再决定要不要上。 ①80% 的位移落在多少比例的 token 上（集中度）；②落在 checker 真正读的区域的比例（Table 4 的比值）；③界 $s$ 的实测均值。第一个数低于 3 倍、第二个数低于 2 倍，这套方法在你的任务上大概率只值 0.5 分。三个数都只要几百条样本就能测，不必先训。

预算紧就上联合回放。 按本文自己的消融，去掉全部 verifier 信息做一次共享 profile，能拿 63% 的增益、1 次前向。这几乎是免费的午餐，值得先当默认档，确认有效再逐奖励拆。

奖励该按检查动作拆，不该按语义拆。 这是本文没做、但直接可推的一步。文本到 SQL 的「执行结果匹配」是一个大奖励，它的位移 90% 落在 SQL 之外；把它拆成「选对表」「选对列」「选对过滤条件」「拼对 join」四个子 verifier，每个子 verifier 的 $Z_k$ 就能把位移钉到对应的 span 上。数据工程上的含义是：多奖励的价值不只在防 reward hacking，还在于它给了信用分配一个落点。verifier 的粒度决定了 credit 能落到多细。

格式类奖励是这套机制的最佳场景。 输出模板、JSON schema、tool call 结构这三类， $Z_k$ 本身就是可抄的模板，回放会精确指出模型在哪几个 token 上偏离模板。工具调用里格式奖励 10 步内到 97%（GDPO 2%、GRPO 4%），这是全文最干净的加速证据，也是最容易搬进生产的一条。

别把它当成长度控制工具。 文本到 SQL 的响应长度在 100 步内从约 330 掉到 130–150，论文把「短 40%」写成收益（无效推理拿不到执行优势）。这个机制确实会压长度，可是在该配置下熵系数为 0、指令遵循甚至没有 KL 项，长度坍塌与「砍掉废话」在这套设置里分不开。若要往生产上搬，先加一条固定长度的对照臂。

参考文献

Zhai, S., Wang, H., Liu, Z., Song, L., Ding, X., Liang, J., & Kang, J. (2026). Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL. arXiv:2610.21439 [cs.LG]. University of Minnesota, NUS, UIUC, USC, UPenn, MBZUAI. v1 2026-10-15, 15 pages.

Liu, S., Dong, X., Lu, X., Diao, S., Belcak, P., Liu, M., Chen, M., Yin, H., Wang, Y. F., Cheng, K., Choi, Y., Kautz, J., & Molchanov, P. (2026). GDPO: Group reward-decoupled normalization policy optimization for multi-reward RL optimization. ICML 2026. 本文的直接底座。

He, Y., Bi, B., Liu, S., Liao, H., Ge, Y., Wan, B., Tong, S., Chen, J., Guo, J., & Cheng, X. (2026). SAW: Stage-aware dynamic weighting for multi-objective reinforcement learning in large language models. arXiv:2606.07705. 响应级调权的代表，本文与之叠乘。

Zhang, B., He, J., Wang, W., Lv, S., Ma, W., Lin, R., Zhong, S., & Guo, L. (2026). CoRT: Counterfactual replay for token-level rubric-guided policy optimization. arXiv:2607.25659. 同做 token 级，但不分奖励。

Zhao, S., Xie, Z., Liu, M., Huang, J., Pang, G., Chen, F., & Grover, A. (2026). Self-distilled reasoner: On-policy self-distillation for large language models. ICML 2026. OPSD 基线，本文与之共享「特权信息改预测」的机制。