论文精读

精读：给 token 级信用一个唯一解，然后把它求和掉

PACT 用三条正则条件把 token 级信用唯一钉成条件期望的鞅差，推出 OPD 教师即隐式 critic、RLOO 与之梯度等价；可它所推荐的 λ=1 配置从头到尾没估过这个信用，而那 +5.13 分的一步重要性校正只保留了 1/(τ−t+1) 的一阶项。

论文： PACT: From Credit Assignment to Critic Alignment

作者： Jiayan Fu, Hang Xu, 等

arXiv： 2609.26355

2026年9月24日信用分配 actor-critic GAE On-Policy 蒸馏 GRPO 重要性采样校正后训练长程 agent

1 论文概览

一句话总结：PACT 用三条正则条件（完备性、前缀一致性、中性）把「token 级信用」唯一钉死为条件期望的鞅差 $C_i=\mathbb{E}[R\mid\mathcal{F}_i]-\mathbb{E}[R\mid\mathcal{F}_{i-1}]$ ，顺着这一条唯一表示推出三件事——OPD 的理想教师是隐式 critic、RLOO 的响应级信号与 token 信用在期望上同梯度、长程下信用近似稀疏——并据此把 actor-critic 改成「先更 actor，再用一步重要性比校正 critic 目标，critic 用 BCE 训练」，在 Qwen3.5-4B 的 agentic 数学上把 Avg@16 从 GRPO 的 64.07 推到 72.87，在 Qwen3.6-35B-A3B 上把 SWE-bench Verified pass@1 做到 67.4。

核心问题：RL 后训练里奖励是轨迹末端的标量，优化却落在每一个生成的 token 上。粒度错位引出信用分配问题，而「信用」这个词本身没有公认的数学定义，各家算法各拿一个量去顶替它。

“despite its central role in reinforcement learning, credit itself lacks a generally accepted mathematical characterization, and existing methods operationalize it through different algorithm-dependent quantities” —— §1

主要贡献：

唯一表示定理（Theorem 1）：三条条件下 credit 存在且唯一，形式为 $C_i=V_i-V_{i-1}$ ，构成鞅差序列；附录 C.2.3 用三个反例证明每一条条件都不可省。
三条推论：Theorem 2 证明理想教师下 OPD 的期望策略梯度等于 $\tfrac1\beta$ 倍的 token 信用梯度；Theorem 3 证明 RLOO 的响应级基线在期望上与唯一 token 信用同梯度；Theorem 4 给出 $\mathbb{E}\big[\sum_i C_i^2\mid\mathcal{F}_0\big]=\mathrm{Var}(R\mid\mathcal{F}_0)\le \tfrac14$ 。
GAE 误差分解 $\hat A_t^{\lambda}=\sum_{i=t}^{\tau}\lambda^{i-t}C_i-\varepsilon_{t-1}+(1-\lambda)\sum_{i=t}^{\tau-1}\lambda^{i-t}\varepsilon_i$ ，据此把 $\lambda$ 取成 1。
PACT 算法：Actor-then-Critic 更新顺序、BCE 价值头、一步重要性比目标 $Y_t=\rho_tR$ 配 $[0,6]$ 掩码。
两个场景的实验：agentic 数学四基准（对 GRPO / PPO( $\lambda{=}1$ ) / SAO 分别 $+8.80$ / $+13.16$ / $+21.73$ ）与 SWE-bench Verified（ $+2.0$ / $+2.4$ / $+3.8$ ）。

论文署名 AllSpark Team，arXiv 著者栏是 Jiayan Fu、Hang Xu、Yong Zhang、Zhaokai Luo、Yao Hu、Dongyan Zhao、Mu Chuan，通讯邮箱为 zhaody@pku.edu.cn 与 muchuan1@xiaohongshu.com（北京大学；小红书），代码在 github.com/AllSpark-Research/PACT。

2 方法详解

2.1 三条正则条件与唯一表示

滤流取 $\mathcal{F}_i=\sigma(q,T_1,O_1,\ldots,T_i,O_i)$ ， $V_i=\mathbb{E}[R\mid\mathcal{F}_i]$ 。三条条件：

Completeness： $\sum_{i=1}^{\tau}C_i=R-\mathbb{E}[R\mid\mathcal{F}_0]$ 。信用要把结局相对初始预测的偏离解释完。
Prefix Consistency：两条轨迹若前 $i$ 步信息相同，则 $S_i$ 相同，即 $S_i$ 必须 $\mathcal{F}_i$ -可测。
Neutrality： $\mathbb{E}[C_i\mid\mathcal{F}_{i-1}]=0$ 。不许做可预测的零和搬运。

三者合起来推出 $C_i=V_i-V_{i-1}$ ，几乎必然成立。

这套东西在数学上是 Doob 分解的公理化重述：完备性给定终端值，前缀一致性就是适应性，中性就是鞅差。论文本身在局限性里承认了这一点。

“Just as replacing Euclid’s parallel postulate leads to different but internally consistent geometries, adopting different requirements for credit may lead to different representations.” —— Appendix F

新意不在定理，在于把这套公理搬进 LLM 后训练，给三个原本各说各话的算法（OPD / RLOO / GAE）排了座位。这是理论工作该有的形态——把散点连成一张图，而不是造新定理。

一处内部张力论文没有处理。§2.2 写道：

“credit assignment aims to attribute the final outcome only to the model’s generated tokens, rather than to environment-provided information” —— §2.2

可 $\mathcal{F}_i$ 里含 $O_i$ 。从 $\mathcal{F}_{i-1}$ 到 $\mathcal{F}_i$ 这一步一次塞进了 $T_i$ 与 $O_i$ ，于是 $C_i$ 既有「这个 token 干了什么」，也有「沙箱回了什么」。拆开只需插一层滤流 $\mathcal{F}_{i-1/2}=\sigma(\mathcal{F}_{i-1},T_i)$ ，三行代数的事，论文没做。在它自己的实验配置里（OpenCode 带 Python 沙箱、Codex 跑 SWE-bench），工具返回之后那一步的价值跃迁，绝大部分来自工具输出，不是来自模型刚写的那个 token。

2.2 三条推论

Theorem 2（教师是隐式 critic）。理想教师定义为

$q_t^\star\in\arg\max_{q}\big\{\mathbb{E}_{a\sim q}[Q_t^\pi(a)]-\beta D_{\mathrm{KL}}(q\|p_t)\big\}$

闭式解是 $q_t^\star\propto p_t\exp(Q_t^\pi/\beta)$ 。在这个教师下， $G_t^{\mathrm{OPD}}(q_t^\star)=\frac1\beta\mathbb{E}_\pi[Z_tC_t^\pi\mid\mathcal{F}_{t-1}]$ 。这条定理给本专栏追了七期的 OPD 一族补上一条判据：教师起作用，是因为它在逼近「以 $Q/\beta$ 为指数权重倾斜过的学生自身分布」；更强却不兼容的教师不落在这个解上。

Theorem 3（RLOO 梯度等价）：

$\mathbb{E}\big[\nabla_\theta\log\pi_\theta(T_t\mid\mathcal{F}_{t-1})(R_i-\bar R_{-i})\big]=\mathbb{E}\big[\nabla_\theta\log\pi_\theta(T_t\mid\mathcal{F}_{t-1})C_t\big]$

论文紧接着自己加了限定：

“The preceding equivalence holds only in expectation and does not imply equal statistical efficiency.” —— §3.2

这句话是全文最诚实的一句，也是最要命的一句：响应级信号与 token 级信用若在期望上同梯度，整条「把信用做到 token 级」的路线的收益就只剩方差，而方差全文一处未测。

Theorem 4 与 GAE 分解。有界奖励归一化到 $[0,1]$ 后 $\mathrm{Var}(R)\le\tfrac14$ ，于是 $\mathbb{E}[\sum_iC_i^2\mid\mathcal{F}_0]\le\tfrac14$ 。把 $\hat V_i=V_i+\varepsilon_i$ 代进去， $\lambda<1$ 时中间步的 critic 误差通过 $(1-\lambda)\sum\lambda^{i-t}\varepsilon_i$ 留在优势里； $\lambda=1$ 时该项归零，只剩 $-\varepsilon_{t-1}$ 。

2.3 PACT 的三个改动

第一，价值头换成 sigmoid 参数化的 BCE： $\mathcal{L}_{\mathrm{BCE}}=\mathbb{E}[-R\log\hat V-(1-R)\log(1-\hat V)]$ 。附录 C.1 论证有界奖励可做正仿射变换而不改最优策略，故 $V\in[0,1]$ ，BCE 与 MSE 的最优解同为 $V^\pi$ 。

第二，Actor-then-Critic 顺序加一步重要性校正。rollout 后先做 $B$ 次 actor 更新，再用更新后的 actor 对同一批数据前向一次，拿到 $\rho=\exp(\ell^{\mathrm{new}}-\ell^{\mathrm{old}})$ ，用 $\mathsf{m}=\mathbb{I}\{\rho_{\min}\le\rho\le\rho_{\max}\}$ 掩码掉越界样本，critic 目标换成 $Y=\rho\odot R$ 。代价只有一次前向，不额外采样。

第三， $\lambda=1$ 。

与基线的区别。PPO 是 actor 与 critic 各自独立更新、MSE 价值头、critic 始终落后 actor 一个策略；GRPO 无 critic，组级基线广播到每个 token；SAO 是单 rollout 异步配长度自适应 GAE。PACT 相对它们多拿三样东西：actor 侧 TIS（ $[0,2]$ ）、critic 侧一步 IS 校正加 BCE、 $\lambda=1$ 。最后一项 SAO 也算半个，前两项 PACT 独有。

3 实验结果

3.1 主结果

数学侧（Qwen3.5-4B + OpenCode，Avg@16 %）：

方法	AIME 25	AIME 26	BeyondAIME	HMMT 25	平均
Base	46.67	51.25	28.63	37.50	41.01
GRPO ( $\epsilon_{\rm high}{=}0.28$ )	76.50	74.78	41.81	63.19	64.07
PPO ( $\lambda{=}0.95$ )	32.33	29.38	17.86	25.67	26.31
PPO ( $\lambda{=}1.0$ )	66.04	73.96	40.31	58.54	59.71
SAO	51.25	63.33	36.63	53.33	51.14
PACT w/o IS	76.04	82.50	51.38	61.04	67.74
PACT	83.12	85.21	51.69	71.46	72.87

编码侧（Qwen3.6-35B-A3B + Codex，SWE-bench Verified pass@1 %）：Base 60.8、GRPO 65.4、PPO( $\lambda{=}1$ ) 65.0、SAO 63.6、PACT 67.4。

3.2 我自己做的三轮复核

SWE-bench 的三个 gap 都在 1σ 之内。500 题、pass@1，按独立二项算：对 GRPO 差 2.0pp， $SE=\sqrt{0.674\cdot0.326/500+0.654\cdot0.346/500}=2.99$ pp， $z=0.67$ ；对 PPO 差 2.4pp， $z=0.80$ ；对 SAO 差 3.8pp， $z=1.26$ 。换成配对口径（同一批 500 题，McNemar 的 $SE\approx\sqrt{b+c}/500$ ），不一致对数 $b+c\approx80$ 时 $SE\approx1.79$ pp，对 GRPO 的 $z$ 也只有 1.12。唯一过线的是对 base 的 $+6.6$ pp（ $z=2.18$ ）。摘要那句「outperforming GRPO, PPO, and SAO by 2.0, 2.4, and 3.8 percentage points」，三项都不足以单独成立。

AIME 的 $z$ 在两个数量级之间摇摆。AIME 2025 共 30 题，PACT 83.12 对 GRPO 76.50，差 6.62pp。把 16 次采样当 480 个独立样本， $SE=2.58$ pp， $z=2.56$ ；按 30 题算（题内完全相关）， $SE=10.3$ pp， $z=0.64$ 。真实相关度落在两者之间。全文 seed 零命中（我 grep 过，“seed” 只出现在数据集名 ByteDance-Seed 里），Avg@16 只报一个数、不报方差。两个 $z$ 差 4 倍，任何 1–8pp 的比较都只能标未定。

PPO( $\lambda{=}0.95$ ) 崩到 26.31，比 base 的 41.01 还低 14.7pp。一个标准 PPO 跑到低于初始模型 15 分，通常不是 $\lambda$ 的错，是这条基线没调通。论文用它给 Theorem 4 背书：

“PPO with $\lambda=1.0$ also outperforms $\lambda=0.95$ , which undergoes policy collapse during training, consistent with our analysis of intermediate critic errors in GAE.” —— §5.2

这条证据的幅度对不上机制。把误差项单独算： $\lambda=1$ 时误差是 $-\varepsilon_{t-1}$ ； $\lambda=0.95$ 时是 $-\varepsilon_{t-1}+0.05\sum_{i=t}^{\tau-1}0.95^{i-t}\varepsilon_i$ 。若 $\varepsilon_i$ 独立同分布，第二项 $sd=0.16\sigma_\varepsilon$ ，总误差 $sd$ 从 $\sigma_\varepsilon$ 涨到 $1.013\sigma_\varepsilon$ —— $\lambda$ 从 0.95 挪到 1 只省下 1.3% 的误差标准差。若 $\varepsilon_i$ 高度正相关（价值头是前缀的光滑函数，长轨迹上近乎一个常值偏置 $\varepsilon$ ），误差变成 $-\varepsilon\lambda^{\tau-t}$ ： $\lambda=0.95$ 、 $\tau-t=100$ 时只剩 $-0.0059\varepsilon$ ， $\lambda=1$ 时是完整的 $-\varepsilon$ ——在这个更现实的口径下 $\lambda<1$ 反而消掉了几乎全部偏置， $\lambda=1$ 是最差选择。两种口径结论相反，论文没有测过 $\varepsilon_i$ 的自相关。无论哪一种，都撑不起 33.4pp 的落差。

3.3 消融

去掉 IS（PACT w/o IS）：67.74 → 72.87，差 5.13pp，四个基准上是 $+7.08$ / $+2.71$ / $+0.31$ / $+10.42$ 。论文写「improvements on all four benchmarks」，其中 BeyondAIME 只涨 0.31pp，落在噪声里；扛着这 5.13 的是 HMMT 的 $+10.42$ 。

BCE 对 MSE：只在固定策略的 critic 预训练里比了收敛速度与正负样本价值间隔 $\Delta_\pm$ ，Table 1 里没有「PACT + MSE critic」这一行。三个设计改动（BCE、Actor-then-Critic、一步 IS）只做了一个消融，拿掉的恰好是理论上被截断得最狠的那一项。

4 个人分析

4.1 亮点

RLOO 等价性（Theorem 3）是全文最有分量的一句话，也是它自己没敢用足的一句话。它等于宣布：响应级信号与 token 级信用在期望上同梯度。顺着读下去，PACT 推荐的配置 $\lambda=1$ 让优势变成 $\hat A_t=R-\hat V_{t-1}$ ，逐 token 增量 $C_i$ 从头到尾没有被单独估过，只有前缀值 $\hat V_{t-1}$ 在被估。论文花三节推导出来的唯一表示，在它自己推荐的算法里被整体求和掉了。真正起作用的是基线质量（BCE 头配 IS 校正目标），不是信用分解。

Theorem 2 给 OPD 一族补了一条可操作的判据：教师该长成 $p_t\exp(Q_t^\pi/\beta)$ 的样子。这把「教师要强」改写成「教师要落在学生分布的指数倾斜上」，给本专栏此前反复遇到的教师不兼容问题提供了量化入口。

成本账算得干净。Actor-then-Critic 只需在 actor 更新后多跑一次前向，不增加 rollout； $\rho$ 掩码 $[0,6]$ 顺带把策略变动过大的 token 剔出 critic 训练，等于白送一个离群过滤器。

4.2 局限性

一步重要性比截断掉了 $1-\frac{1}{\tau-t+1}$ 的一阶修正。附录 C.7 给了精确答案：完全同步需要续接比 $W_t=\prod_{k=t}^{\tau}\rho_k$ ，实际用的是 $Y_t=\rho_tR$ 。命题 2 说得很清楚，它给出的是混合策略（当前 token 取自 $\pi$ 、之后退回 $\mu$ ）的价值。论文自己也承认这是截断：

“The practical target $\rho_t R$ retains the current-token component of this first-order correction and omits the remaining continuation terms.” —— C.7

展开式 $V_{t-1}^{\pi}=\tilde V_{t-1}^{\pi,\mu}+\mathbb{E}_\mu\big[R\sum_{k=t+1}^{\tau}\delta_k\mid\mathcal{F}_{t-1}\big]+\mathcal{R}_t$ 里，保留的是 $\delta_t$ 一项，省掉的是 $\tau-t$ 项，保留比例约 $1/(\tau-t+1)$ 。论文本身把单轮最大生成长度设到 $64\mathrm{k}$ token， $\tau-t+1$ 取到 $6.4\times10^4$ 时保留比例是 $0.0016\%$ 。这恰好是它声称要解决的那个长程场景——在长程上截断得最狠。

误差界的适用范围与实现的容忍范围差四个数量级。命题 2 的余项界 $|\mathcal{R}_t|\le(1+\varepsilon)^{L-t+1}-1-(L-t+1)\varepsilon$ 要不爆掉，需要 $(L-t+1)\varepsilon\ll1$ ，即 $\varepsilon\lesssim1/(L-t+1)$ 。取 $L-t+1=10^4$ ，要求 $\varepsilon\lesssim10^{-4}$ ；掩码窗口是 $\rho\in[0,6]$ ，允许 $|\rho-1|$ 到 5。论文用「 $\varepsilon\to0$ for fixed $L$ 」把这层藏起来了—— $L$ 恰恰是本文唯一不打算固定、也绝不小的那个量。这个界在 $L-t+1=64000$ 、 $\varepsilon=0.01$ 时右端是 $e^{640}$ 量级，已经完全失去意义。

统计信用不是因果信用，而这正是数据工程要的东西。附录 F 自己写明：

“the notion of credit studied here is statistical rather than causal. It is defined through conditional expectations and does not characterize the counterfactual causal effect of replacing an individual token or action.” —— Appendix F

稀疏性界在信用实际所在的尺度上恰好失效。 $\mathbb{E}[\#\{|C_i|>\epsilon\}]\le 1/(4\epsilon^2)$ 要有信息，需要 $1/(4\epsilon^2)<\tau$ ，即 $\epsilon>1/(2\sqrt{\tau})$ ；而逐 token 信用的 RMS 正是 $\sqrt{\mathrm{Var}/\tau}\le0.5/\sqrt{\tau}=1/(2\sqrt{\tau})$ 。界开始生效的门槛正好等于信用本身的量级—— $\tau=4000$ 时逐 token 信用约 $0.008$ ， $\tau=64000$ 时约 $0.002$ ，而界在这个尺度上允许「至多 $\tau$ 个 token 超过它」，等于什么都没说。

Figure 4 分不开两种解释。响应一路变长， $\overline{|\hat V_t-\hat V_{t-1}|}$ 一路变小，论文把这个读作 Theorem 4 的证据。可价值头是位置的光滑函数时，同样的总价值变化摊到更多步上，逐步差自然变小——纯机械效应，预测出同一条曲线。 $\lambda=1$ 下训练信号根本不消费 $\hat V_t-\hat V_{t-1}$ ，这张图画的是一个算法不读的量。

基线的保真度。SAO 是为单 rollout 异步设计的，这里被放进每轮 512 条轨迹的同步循环里跑；PPO( $\lambda{=}0.95$ ) 崩到 base 以下。附录 E.4 另有一句容易漏掉的话：

“PPO, GRPO, and SAO use rollout log-probabilities for actor updates, whereas PACT applies TIS with a ratio range of $[0,2]$ to account for the mismatch between training and rollout inference.”

PACT 在 actor 侧多拿了一个训练-推理失配校正，基线全都没有。这正是本专栏第十七期 Score Centering 处理的东西——那篇的结论是失配足够大时整族方法都会崩。缺了「GRPO + TIS」「PPO + TIS」两条对照， $+8.80$ 与 $+13.16$ 里有多少来自 critic 对齐、多少来自 actor 侧失配校正，读不出来。

二手来源已经在失真。我检索时看到一篇 9-23 的每日简报把三条条件写成「Completeness, Consistency, and Calibration」，并称 REINFORCE / DPO / 蒙特卡洛回报各自违反其中一条——三条里只有 Completeness 是原文的，另外两条是编的。挂了正确 arXiv 号的摘要照样能写错，引用前请回原文。

4.3 对大模型领域的影响

短期看，PACT 给出一个低成本可复制的组合：BCE 价值头配一次前向换来的 critic 同步。这两样都不挑框架，任何带 critic 的后训练栈都能挂。

中期看，Theorem 3 的影响比 PACT 本身大。它把「token 级信用」的收益上限钉在了方差上。本专栏过去七期反复追问「挑哪些 token 给监督」，Theorem 3 的回答是：挑的目的是复现某个梯度期望时，不挑也行；挑的价值只体现在方差上，而方差必须单独测。这条对整个 token 选择一族（含 E-SFT、TrimSFT、SP³O、ActObs、IER）都是一笔必须补的账。

长期看，信用是统计而非因果这一条，把这条路和数据工程那条路分开了。要回答「哪个 token 该留在 SFT 数据里」，需要的是反事实贡献（换掉这个 token 结局变不变），不是鞅差。Theorem 1 的唯一性回答不了这个问题。

5 实践启示

可以借鉴的技术：

BCE 价值头。有 Farebrother et al. 2024 的独立支撑，本篇固定策略消融也显示收敛更快、正负样本间隔更大。改动量是一行损失函数。
Actor-then-Critic 顺序。一次前向换 critic 与更新后策略的对齐，不额外采样。长程 agentic 训练里 rollout 才是成本大头，这笔交易划算。
把 critic 的目标从「估 $C_i$ 」降级为「估 $V_{t-1}$ 」。 $\lambda=1$ 之后只需要前缀值，逐 token 增量不必估计。这是把难问题换成易问题的一招，比硬啃 $C_i$ 现实。
$\rho$ 掩码当离群过滤器。剔除 $|\rho-1|$ 过大的 token 之后再训 critic，与精确测度变换无关时也值得一试。

别照抄的地方：一步 $\rho_tR$ 截断（正确做法是分段乘积或 token 级截断乘积，保留比例从 $1/(\tau-t+1)$ 提到 $1/m$ ）；无 seed 的对比（复现时至少补三组种子）；不拆 token 与观测的信用（做 agentic 数据工程时必须插一层 $\mathcal{F}_{i-1/2}$ ，否则沙箱的功劳会记到模型头上）。

复现时该补的四条对照臂（论文给了路径却没跑）：GRPO + TIS 与 PPO + TIS，隔离 actor 侧失配校正的贡献；PACT + MSE critic，隔离 BCE 的贡献；独立更新顺序配 IS 目标，隔离 Actor-then-Critic 的贡献；只加 $\rho$ 掩码、目标用 $R$ 而非 $\rho R$ ，判断 $+5.13$ 来自测度变换还是来自离群过滤。

潜在应用场景：长程 agentic coding 的 RL（本篇的 SWE-bench 场景， $\tau$ 大、工具返回多，正是 critic 对齐最值钱的地方）；量化 rollout 或训练-推理内核不一致时的 critic 校正（接第十七期的失配议题）；OPD 教师筛选——用 $p_t\exp(Q_t^\pi/\beta)$ 当「教师该长什么样」的判据去挑或造教师信号。

明确不建议照做的一件事：拿 $C_i=V_i-V_{i-1}$ 去挑 SFT token。它是统计信用不是因果信用，逐 token 量级在 $10^{-3}$ 上下、被估计误差淹没，而且在 agentic 轨迹里把环境观测的信息算到了 token 头上。

参考文献

Fu, J., Xu, H., Zhang, Y., Luo, Z., Hu, Y., Zhao, D., & Chuan, M. (2026). PACT: From Credit Assignment to Critic Alignment. arXiv:2609.26355 [cs.LG]. AllSpark Team（北京大学；小红书）. 代码：github.com/AllSpark-Research/PACT