论文精读

精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

异步后训练里陈旧 rollout 撑大了重要性比的长尾；GMC-GRPO 在同一条二阶矩保证下求出偏差最小的组级收缩系数。本专栏逐项核算后发现，摘要里 ε^-4→ε^-2 的系数差在调完步长后只剩 3 倍，且论文自己的定理在它自己的实验点上只保证 O(N^-0.19) 的速率

论文： Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis

作者： Qijia He, Ruinan Jin, Jun Luo, Shaofeng Zou, Yingbin Liang

arXiv： 2610.01896

2026年10月2日 GMC-GRPO GRPO 异步 RL 离策略校正重要性采样收敛性分析陈旧 rollout cs.LG

1 论文概览

一句话总结：GMC-GRPO 把 GRPO 里「每条响应的重要性比各自裁剪一次」换成「整组的平均比超过阈值就给全组乘一个公共收缩系数」，并在「二阶矩保证相同」这一族估计量里证明这个系数是偏差上界的最小解。

核心问题：异步后训练里 rollout worker 用的策略快照落后于 learner，行为策略与当前策略的差距把轨迹级重要性比 $\rho$ 的长尾拉长。裁剪能把梯度估计量的二阶矩压住，代价是引入偏差；阈值调高则二阶矩失控直至崩训。论文把这件事写成一个带约束的优化问题：二阶矩是约束，偏差是目标。

“Asynchronous reinforcement learning (RL) improves the efficiency of large language model post-training but introduces stale rollouts generated by earlier policies. Theoretical understanding of how this staleness affects convergence and how to mitigate its impact remains limited.” —— 摘要

主要贡献：

Lemma 1 的三项分解：收敛界拆成衰减项 $O(1/(\eta N))$ 、二阶矩项 $\eta\,\mathbb{E}\|g_n\|_2^2$ 与偏差项 $\mathbb{E}\|b_n\|_2^2$ ，后两项都由估计量的加权方式决定。
加权估计量类（Definition 1）：约束是 $w_n^{(b,i)}\le 1$ 且组内加权平均比 $\frac1G\sum_i w_n^{(b,i)}\rho_n^{(b,i)}\le 1+\epsilon$ ；TIC-GRPO、VCPO、CISPO、SAPO 都在类内，vanilla GRPO 不在（负 advantage 时它保留任意大的比值，最坏二阶矩 $O(\mathcal{C}^2)$ ）。
GMC 的闭式解（Proposition 2）：在「方向保持」（全组共用一个正权重）的限定下唯一最优解是 $\alpha_n^{(b),\star}=\min\{1,(1+\epsilon)/\overline\rho_n^{(b)}\}$ 。
Theorem 1 / Theorem 2 / Remark 5：两条界只差四阶延迟项的系数，GMC 用 $\log^2(1+2\epsilon)$ ，TIC 用 $c_\epsilon^2=\big(\log(1+\epsilon)-\epsilon/(1+\epsilon)\big)^2$ ； $\epsilon\to0$ 时前者 $O(\epsilon^{-2})$ 、后者 $O(\epsilon^{-4})$ 。
两套实验：固定延迟 $D\in\{0,32,\dots,512\}$ 次 learner 更新，以及把延迟与响应长度耦合的模拟异步流水线（平均延迟约 140–160 次更新），共 3 个 Qwen3-Base 尺寸、6 个数学基准。

2 方法详解

架构：一个标量乘在一整组上

系统模型先定义清楚延迟。第 $n$ 次 learner 更新消费的第 $b$ 组由版本 $s_n^{(b)}$ 的策略生成，延迟记为 $\tau_n^{(b)}:=n-s_n^{(b)}$ 。同一组内的 $G$ 条响应共享一个延迟，同一个 mini-batch 内的组可以有不同的延迟，重要性比写成

$\rho_n^{(b,i)}=\frac{\pi_{\theta_n}\big(y^{(b,i)}\mid x^{(b)}\big)}{\pi_{\theta_{n-\tau_n^{(b)}}}\big(y^{(b,i)}\mid x^{(b)}\big)}.$

加权估计量类的两条约束中，第一条禁止放大任何单条轨迹，第二条恰好控制住该组的平均梯度二阶矩。论文在这个类里不去直接最小化真实偏差 $\big\|\mathbb{E}[b_{n,b}^{w}\mid\mathcal{H}_n]\big\|_2$ （它依赖各条梯度方向的抵消，只看重要性比算不出来），而是最小化 Proposition 1 给出的上界，于是问题归约为在约束下最大化组内加权平均比。

“The optimal weights are not unique in general. When the unweighted average importance ratio exceeds $1+{\epsilon}$ , any feasible weighting rule whose average weighted importance ratio equals $1+{\epsilon}$ attains the optimum.” —— §3，Definition 1 之后

最优解不唯一，是因为把总量削到 $1+\epsilon$ 有无数种削法。论文用「方向保持」筛：全组共用一个权重 $\alpha_n^{(b)}$ ，组内各条响应的相对贡献不变，组梯度方向不变。最终

$\widehat\rho_n^{(b,i)}:=\alpha_n^{(b),\star}\,\rho_n^{(b,i)},\qquad \alpha_n^{(b),\star}=\min\Big\{1,\ \frac{1+\epsilon}{\overline\rho_n^{(b)}}\Big\},\quad \overline\rho_n^{(b)}=\frac1G\sum_{i=1}^G\rho_n^{(b,i)}.$

一行代码层面的差别就在这里：TIC-GRPO 对每条响应做 $w=\mathbf 1\{\rho^{(b,i)}\le 1+\epsilon\}$ ，是逐条硬裁剪；GMC 对整个组算一次均值再统一收缩，组内谁也不丢。

关键创新点

第一，把「二阶矩—偏差权衡」从工程直觉升级成带约束的优化。 此前 TIC、VCPO、GAC 各有各的裁剪规则，判据是「能不能稳住训练」。论文给出的判据是：先固定一条所有方法共享的二阶矩保证，再在这条保证下比谁削掉的比值质量少。这个框架把 VCPO 的 $\min\{1,c/\rho\}$ 、TIC 的指示函数都收成了同一个类的特例，可比较性是在这个层面建立起来的。

第二，延迟进入收敛界的路径被彻底改写。 三条链依次是：GMC 削掉的量等于组均值的超出部分 $\mathbb{E}\big[(\overline\rho_n^{(b)}-(1+\epsilon))_+\mid\mathcal{H}_n\big]$ ；凸性论证把它界成 $D_n^{(b)}/\log(1+2\epsilon)$ ，其中 $D_n^{(b)}:=D_{\mathrm{KL}}\big(\pi_{\theta_n}\|\pi_{\theta_{n-\tau_n^{(b)}}}\big)$ ；Assumption 1 再给 $D_n^{(b)}\le\frac{TL}{2}\|\theta_n-\theta_{n-\tau_n^{(b)}}\|_2^2$ ，而均匀二阶矩界把延迟窗口内累积的参数漂移限成 $O(\eta^2(\tau_n^{(b)})^2)$ 。偏差平方后就是 $\eta^4\overline\tau_4/\log^2(1+2\epsilon)$ ， $\overline\tau_4:=\frac{1}{NB}\sum_n\sum_b\mathbb{E}[(\tau_n^{(b)})^4]$ 。

“The second-moment control therefore plays a dual role: it stabilizes each update, and it also limits how far the policy can drift within a delay window.” —— §4.2，Proof Outline

第三，Remark 4 划清了与异步 SGD 的界线。 ASGD 里第 $n$ 步的更新对陈旧迭代点 $\theta_{n-\tau_n}$ 的梯度无偏，staleness 直接通过两个梯度的落差进入下降论证。这里的轨迹级比值做的是换测度：从行为策略换到当前策略，未校正的估计量对 $\nabla J(\theta_n)$ 本来就无偏，与延迟无关。延迟只是把比值的散布撑大，从而逼出一个二阶矩校正；校正之后，延迟才通过校正的偏差回来。这条区分顺带解释了为什么 ASGD 里那套「丢掉延迟超过阈值的更新」在 LLM 后训练里不能照搬——按完成时间丢弃会优先丢长响应，引入长度偏差。

与基线方法的区别

方法	权重形式	干预对象	大 $G$ 极限下的偏差
Vanilla GRPO	双侧裁剪 $\epsilon=0.2$	token 级比值	不在本文类内，二阶矩 $O(\mathcal{C}^2)$
TIC-GRPO	$\mathbf 1\{\rho^{(b,i)}\le 1+\epsilon\}$	单条轨迹，整条丢掉	逐条独立决策，偏差不随 $G$ 消失
VCPO	$\min\{1,c/\rho^{(b,i)}\}$	单条轨迹，软收缩	同左
GAC	余弦相似度阈值 0.05 / 0.30 的梯度投影	更新方向	不校正比值
GMC-GRPO	$\alpha^{(b)}=\min\{1,(1+\epsilon)/\overline\rho^{(b)}\}$	整组均值，全组统一收缩	组均值向 1 集中，偏差随 $G$ 消失

这张表里属于本文的只有 GMC 那一行；前四行的差异（尤其 token 级 vs 轨迹级）来自 TIC-GRPO 那篇，第 3 节会把它切出来。

3 实验结果

主要指标

固定延迟套件在 Qwen3-1.7B-Base 上跑 MATH500，checkpoint 800，pass@1（16 条采样的无偏估计）：

延迟 $D$	GMC-GRPO	TIC-GRPO	GRPO
0	62.94	63.62	63.32
32	60.84	61.70	45.19
64	60.38	60.29	40.91
128	59.03	55.41	35.33
256	48.33	46.20	32.11
512	42.01	38.17	30.23

无延迟时三条曲线重合，GMC 的 pass@1 还比 TIC 低 0.68 个百分点——与 $\overline\tau_4=0$ 时两界退化成同一条的理论预期一致。收益从 $D=128$ 开始出现， $D=512$ 时全体崩到 42 以下，但排序不变（基座无 RL 的 pass@1 是 25.57）。

模拟异步套件（表 1）在三个尺寸上取六基准宏平均，每格是 greedy / avg@n：

模型	GRPO	TIC-GRPO	GMC-GRPO
Qwen3-1.7B	35.58 / 21.64	47.45 / 37.84	48.77 / 41.47
Qwen3-4B	42.57 / 28.00	61.46 / 51.75	60.63 / 56.20
Qwen3-8B	46.59 / 36.08	64.26 / 57.99	64.37 / 59.62

与 SOTA 的对比：把 GMC 的增量从 TIC 的增量里切出来

TIC-GRPO 是本文唯一的同族对手，且两者共用 $\epsilon_{\mathrm{high}}=0.28$ 。把「GRPO → TIC」和「TIC → GMC」两段拆开算：

模型	指标	TIC − GRPO	GMC − TIC	本文份额
1.7B	avg@n	+16.20	+3.63	18.3%
4B	avg@n	+23.75	+4.45	15.8%
8B	avg@n	+21.91	+1.63	6.9%
1.7B	greedy	+11.87	+1.32	10.0%
4B	greedy	+18.89	−0.83	−4.6%
8B	greedy	+17.67	+0.11	0.6%

相对 vanilla GRPO 的总收益里，八成以上来自「token 级裁剪换成轨迹级裁剪」这一步——那是 TIC-GRPO 的贡献。本文这一步在 avg@n 上占 6.9%–18.3%，在 greedy 上分别是 +1.32 / −0.83 / +0.11：greedy 这一列在 4B 上翻负、在 8B 上只差 0.11。

逐基准数胜负更能说明问题。greedy 上 GMC 对 TIC 的胜负是 1.7B 四胜二负、4B 三胜二负一平、8B 二胜三负二平；8B 的 +0.11 宏平均来自 MATH500 −0.40、Olympiad −0.14 两个小负，被 GSM8K +0.46、Gaokao +0.78 抵消，AMC23 与 Minerva 打平。avg@n 上是 6/6、6/6、5/6。两个指标在 4B 上给出相反符号，这是本节最需要记住的一条。

再往下看一层限定词。摘要写的是：

“Experiments across Qwen3 models and reasoning benchmarks demonstrate improved robustness to stale rollouts, with GMC-GRPO achieving the best performance among stable baselines under large rollout delays.” —— 摘要（着重为本文所加）

附录 B.2.3 给出与 A-3PO 的对照：Qwen3-1.7B 上 A-3PO 是 49.16 / 45.27，GMC 是 48.77 / 41.47，greedy 与 avg@n 两个指标 A-3PO 都更高，avg@n 上高出 3.80 个百分点，比 GMC 相对 TIC 的 +3.63 还大。A-3PO 在 8B 上训练崩了，于是被「stable baselines」这个限定词挡在 headline 之外。4B 上 GMC 反过来赢 A-3PO（60.63/56.20 对 56.47/54.65）。结论随尺寸翻转，而翻负的那一档在附录里。

消融：组大小这一条，非单调

§B.2.2 用 $G\in\{4,8,32\}$ 验 Corollary 2 的 $G^{-2/5}$ 。MATH500 上 GMC 减 TIC 的 sampled Pass@1：

Checkpoint	$G=4$	$G=8$	$G=32$
200	−1.11	+3.79	+7.10
300	+2.97	+5.33	+14.24
400	+6.23	+9.14	+7.14
800	+2.26	+3.62	+1.38

$G^{-2/5}$ 预言的是单调改善，实测在 400 步之后掉头： $G=32$ 从 300 步的 +14.24 一路衰减到 800 步的 +1.38，低于 $G=8$ 的 +3.62。论文自己的解释是两条曲线都撞到了奖励平台（§B.2.2：「both methods approaching a reward plateau」），组越大会撞得越早——这与「延迟项随 $G$ 缩小」是两种不同机制，前者是收敛速率，后者是终点高度，表 4 测的是后者。两点补充： $G=32$ 时每个 mini-batch 是 8 prompts × 32 = 256 条轨迹，是 $G=8$ 的 4 倍，样本数没配平；800 步这个评估点也恰在 $G=32$ 优势衰减之后。

五处我自己核过的账

① $\epsilon^{-4}\to\epsilon^{-2}$ 在 $\epsilon=0.28$ 处的真实倍率。 $c_\epsilon=\log(1.28)-0.28/1.28=0.02811$ ， $\log(1+2\epsilon)=\log 1.56=0.44469$ 。两项系数之比是 $(0.44469/0.02811)^2\approx250$ 倍。但 Remark 5 写明，调完步长后延迟项的改善因子是 $(c_\epsilon/\log(1+2\epsilon))^{2/5}=0.331$ ，即 GMC 的延迟项只有 TIC 的 1/3。250 倍与 3 倍之间的落差全在那个 $2/5$ 次方里：摘要写的 $\epsilon^{-4}\to\epsilon^{-2}$ 是未调步长的系数标度，不是收敛速率的标度。实测 pass@1 的 +3.62（59.03 对 55.41，相对 +6.5%）离 3 倍更远。

② 把 Remark 2 代回论文自己的实验点。 Remark 2 说 $\overline\tau_4=O(N^{3/2})$ 时仍保住无延迟的 $O(N^{-1/2})$ 速率；超出后速率退化为 $O(N^{-(4-p)/5})$ ，其中 $\overline\tau_4=\Theta(N^p)$ 。取本文的 $N=800$ 、模拟异步平均延迟 $\approx160$ ： $\overline\tau_4\ge 160^4=6.55\times10^8$ （Jensen 给出下界，异质延迟只会更大）， $p=\ln(6.55\times10^8)/\ln 800\approx3.04$ ，落在 $(3/2,4)$ 区间内，于是保证速率退化到 $O(N^{-0.19})$ ，而非 $O(N^{-0.5})$ 。换成反过来的问法：速率不变的区间是 $\overline\tau_4\le N^{3/2}=2.26\times10^4$ ，四次根是 $\tau\approx12$ 次 learner 更新。而实验跑在 128–512，且收益恰恰出现在 128 之后。理论与实证的操作区间差一个数量级， $D=512$ 时 $p\approx3.73$ 、速率指数 0.053，基本等于没有保证。

③ Corollary 1 给出的最优阈值与实验取值不符。 $\epsilon^\star_{\mathrm{GMC}}=\Theta\big(\overline\tau_4^{1/7}N^{-3/14}\big)$ ，带 $\min\{1,\cdot\}$ 截断。代入 $N=800$ ： $N^{-3/14}=0.239$ ， $D=32$ 时 $\overline\tau_4^{1/7}=7.19$ ，乘积 1.72； $D=128$ 时是 11.1×0.239=2.65。四种延迟下全部饱和到 $\epsilon^\star=1$ ，而实验用的是 $\epsilon_{\mathrm{high}}=0.28$ ，差约 3.6 倍。论文没有为这个差值给任何说明。

④ 两种方法的 $\epsilon$ 不是同一个量。 TIC 的阈值卡在单条 $\rho^{(b,i)}$ 上，GMC 的阈值卡在组均值 $\overline\rho^{(b)}$ 上；后者在行为策略下条件均值恒为 1，波动是 $O(1/\sqrt G)$ 。同一个 $\epsilon=0.28$ 下，TIC 会逐条砍掉任何 $\rho>1.28$ 的响应，GMC 要等整组均值系统性漂过 1.28 才动手——干预频率差着一个量级。所以「同 $\epsilon$ 下 GMC 的系数更小」与「同干预强度下 GMC 更好」是两件事，摘要的表述只覆盖了前者。

⑤ 该报没报的三样。 全文没有 $\epsilon$ 扫描（ $0.28$ 只在 §B.1 出现一次），而 headline 恰恰是关于 $\epsilon$ 依赖的；没有 seed 变化或任何误差棒（表 1 全是单点，AMC23 只有 40 题却在 4B 上给出 5.00 个百分点的 greedy 落差，单基准标准误约 7.9 个百分点，除以 6 仍有 1.3 个百分点进宏平均）；没有墙钟、吞吐或 GPU 时——而异步 RL 的全部动机就在吞吐上，这个词在全文只出现在引言的动机句里。

4 个人分析

亮点

把一个人人都在做的系统层动作写成了有闭式解的优化问题。 重要性比裁剪在异步 RL 框架里是默认配置，阈值靠试。本文给出的一条可操作结论是：在二阶矩保证相同的前提下，不要逐条砍，砍整组的均值超出部分。改动量是三行代码，也不需要额外前向。

Remark 4 的界线划分值得单独读。 它说清了为什么「延迟」在 LLM 后训练里不是 ASGD 的那个延迟：轨迹级比值已经把测度换到了当前策略，延迟只是把比值散布撑大。由此推出「按完成时间丢弃」会引入长度偏差，这条推理链很短但指向很清楚。

延迟做了对照。 表 1 专门列了 Avg. Delay 一列，GMC 在 1.7B 与 4B 上的实测延迟（159.75 / 141.01）还略高于 TIC（159.60 / 138.87）与 GRPO（158.70 / 137.92），等于在稍差的条件下赢，这个对照是加分的。

GMC 削掉的重要性质量恒不多于 TIC（附录 E），这一条我验了几个反例都成立： $\sum_i\rho_i-G(1+\epsilon)\le\sum_{i:\rho_i>1+\epsilon}\rho_i$ 是恒等式，因为左边是 $\sum_i(\rho_i-(1+\epsilon))$ ，右边只累加正项再丢掉 $-(1+\epsilon)$ 。不是近似，是构造上就成立。

局限性

异步是模拟出来的，不是跑出来的。 §B.1 写明 Qwen3-1.7B 上「rollout generation and actor updates execute sequentially on one GPU」——延迟靠重排消费顺序产生，不是靠真实并发。4B 上才用了两张 GPU 做重叠。论文在 Remark 6 里自陈：

“The simulated suite intentionally relaxes the conditional-independence part of the assumption: because delay is determined by response length, conditioning on a long delay tilts the returned responses toward longer completions. Our theorems therefore do not formally cover this setting.” —— §B.1，Remark 6

主表（表 1）的全部结论都出自这套不被定理覆盖的设置；被定理严格覆盖的固定延迟套件，只跑了 1.7B 一个尺寸。

理论保证在自己的实验点上很弱（见第 3 节②）。速率指数从 0.5 掉到 0.19， $\epsilon^\star$ 饱和在 1。这不否定实验观察到的鲁棒性，只说明「理论指导设计」这条叙事里，理论能护航的范围比实验走到的范围小得多。

headline 靠一个稳定性限定词承重。 1.7B 上两个指标都高于 GMC 的 A-3PO 因为 8B 崩溃而被排除；而 8B 上 GMC 相对 TIC 的 greedy 优势是 +0.11，本身就在噪声量级内。

六基准宏平均的权重不合理。 AMC23 只有 40 题，与 GSM8K 的 1,319 题各占 1/6；4B 上 GMC 的 greedy 净损失几乎全部来自 AMC23 的 2 道题（52.50 对 57.50）。按题数加权重算，结论会往 GMC 那边偏。

Corollary 2 的 $G^{-2/5}$ 前提是 $|\rho-1|\le\delta$ 几乎处处成立（§4.1）。这恰好是异步训练里最容易被违反的条件——比值的长尾就是延迟造成的。论文自己也写了「As this overlap deteriorates, the constant $(1+\delta)^2$ grows and the refinement loses its advantage」，把这条收益限定在了近策略区间。

对大模型领域的影响

异步后训练此前被当作系统问题：框架怎么解耦、权重怎么推、队列怎么排。本文把它推进到「解耦之后的估计量该怎么设计」这一层，并给出了可比较的框架（先固定二阶矩保证，再比偏差）。这条路线往下走有两条岔路：一是把加权类从「只用重要性比」扩到用别的信息——论文结论自陈的下一步就是这个；二是把「二阶矩 vs 偏差」的分解搬到别的异步来源上（专家并行的路由滞后、奖励模型的打分滞后、回放缓冲区里的老数据）。

对本专栏关心的训练数据工程，这篇的贡献是给「陈旧数据」这笔账定了一个记法：不是「旧数据要不要丢」，而是「旧数据以什么权重进来」。丢是权重取 0 的一个特例，而 0 恰好是偏差最大、二阶矩最省的那个角点。

5 实践启示

可以借鉴的技术

组均值收缩本身是可直接移植的三行改动：在现有 GRPO trainer 里把逐条 clip 换成先算 $\overline\rho^{(b)}$ 、再乘 $\min\{1,(1+\epsilon)/\overline\rho^{(b)}\}$ ，不需要额外前向，也不需要存行为策略的对数概率以外的东西。代价是组内不再区分谁更离策略。
「先固定二阶矩保证，再在其上最小化偏差」这个建模套路，比「试哪个裁剪阈值稳」更耐用。遇到新的异步来源（路由滞后、打分滞后）可以直接套：先写出该类估计量共享的二阶矩界，再在这个界下求解最小偏差权重。
延迟—长度耦合的模拟时钟（ $C_{\mathrm{gen}}=85$ ， $C_{\mathrm{update}}=1$ ， $\lambda$ 控制延迟分布）是一套低成本的离线评测装置。不做异步系统也能复现长度相关的异质延迟，适合在接入真实异步框架之前先筛方法。
Remark 4 那条判据可以直接当检查项用：任何「按完成时间丢弃/过滤 rollout」的工程实现，都要先量一次被丢弃样本的长度分布，确认没有系统性砍掉长响应。

潜在应用场景

大规模异步 RL 后训练：延迟上百次更新、worker 数百个的场景，是本文唯一验证过的档位。
经验回放与离线—在线混合：回放缓冲里的老数据与异步延迟在数学上是同一个问题，GMC 的组均值收缩可以直接用在「多旧数据混一个 batch」的配比上。
长尾长度分布的任务：agentic、代码生成这类响应长度方差大的场景，长度—延迟耦合最严重，也最需要组级而不是逐条的收缩。
专家并行 / MoE 路由滞后：路由权重与主干参数的更新不同步时，同样会出现「一批样本来自若干个旧版本」的格局。