论文精读

精读：按梯度可估性给 token 分配蒸馏监督

稀疏 on-policy 蒸馏挑 token 时只看有用性，本文在 Fisher 几何下补上梯度估计可靠性这一轴（IER）；0.1%–1% 预算追平全量 OPD，但只在 big-to-small 那一对上成立。

论文： 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation

作者： Huanxin Sheng, Zhiling Ye, 等

2026年9月23日 On-Policy 蒸馏稀疏监督 token 选择信息几何梯度估计后训练推理模型

1 论文概览

一句话总结：稀疏 on-policy 蒸馏（OPD）在挑 token 时只看「这个位置的教师指导有没有用」，本文补上第二条轴——「只采一个 next token 估出来的梯度有多可靠」——在 Fisher 几何下把单样本 OPD 梯度拆成信号与采样噪声，用二者的比值（IER）给 token 排序，与既有的有用性分数做软 OR / 软 AND 组合，在 0.1%–1% 的 token 预算上追平或超过全量 OPD。

核心问题：OPD 在每个 token 位置上要对齐学生分布与教师分布，梯度本该是对整个词表的期望。工程上只采一个 next token 来估这个期望，于是即使教师给出的修正是有用的，那一步的梯度也可能主要是噪声。既有的 token 选择器——熵、师生分歧、TIP、TA-OPD、前缀法——都在度量有用性，没有一条在度量这个估计本身准不准。

“A usefulness-based selection may retain positions with noisy gradient estimates, while a reliability-based selection may retain positions whose gradient have little practical value. Effective selection should account for both dimensions.” —— §1

主要贡献：

梯度可估性的解析刻画。在固定 prefix 上，把单样本 reverse-KL 梯度放进 Fisher 几何，得到信号项 $\|g\|^2_{F^+} = \mathrm{Var}_p[\rho]$ 与噪声项 $\mathbb{E}_p[(\rho-b)^2 L] - \mathrm{Var}_p[\rho]$ 的分解，并解出使方差最小的标量基线 $b^\star = \mathbb{E}_p[\rho L]/\mathbb{E}_p[L]$ （Theorem 1）。二者之比定义为 IER。
可计算的近似。全词表统计算不动，于是用学生与教师的 top-K logits 加被采到的 token 组成候选集 $\mathcal{C}$ （K=16， $|\mathcal{C}| \in [16, 33]$ ），在候选集上重归一化后算 $\widehat{\mathrm{IER}}$ ，只取它的排序。
与有用性的组合算子。IER 排序归一化成 $r_j$ ，有用性分数归一化成 $u_j$ ，用软 OR（ $1-(1-u)(1-r)$ ）与软 AND（ $u \cdot r$ ）组合，训练目标仍是原来的 sampled reverse-KL。
双域双配置的实证。数学推理（可验证）与医学推理（开放式）× strong-to-weak（同尺寸教师）与 big-to-small（4B→1.7B）× thinking-on 与 thinking-off。

2 方法详解

2.1 局部梯度与它的单样本估计

固定一个学生生成的 prefix $s$ ，学生下一个 token 分布 $p$ 、教师分布 $q$ 。记 $\rho(a) = \log(p_a/q_a)$ ， $\phi_a = \nabla_z \log p_a = e_a - p$ 。因为 $\mathbb{E}_p[\phi_a] = 0$ ，reverse-KL 的局部梯度是

$g = \mathbb{E}_p[\rho(a)\phi_a]$

采一个 token $a \sim p$ 来估它，估计算子取 $\widehat{g}_b(a) = (\rho(a)-b)\phi_a$ ，其中 $b$ 是与动作无关的标量基线——减 $b$ 不改变期望，只改变方差，这是策略梯度里控制变量的常规做法。

2.2 Fisher 几何下的信号-噪声分解

欧氏范数把概率值当普通坐标，与「分布匹配」这个目标不同构。作者改用 KL 诱导的局部几何： $D_{KL}(p\|p^{\Delta}) = \tfrac12 \Delta z^\top F \Delta z + o(\|\Delta z\|^2)$ ，其中 $F = \mathrm{diag}(p) - pp^\top$ 是 Fisher 信息矩阵，用伪逆 $F^+$ 定义自然梯度长度 $\|\delta\|^2_{F^+} = \delta^\top F^+ \delta$ 。Theorem 1 给出三条结果：

信号： $\|g\|^2_{F^+} = \mathrm{Var}_p[\rho(a)]$
噪声： $\mathbb{E}_p[\|\widehat{g}_b - g\|^2_{F^+}] = \mathbb{E}_p[(\rho(a)-b)^2 L(a)] - \mathrm{Var}_p[\rho(a)]$ ，其中杠杆因子 $L(a) = (1-p_a)/p_a$
最优基线： $b^\star = \mathbb{E}_p[\rho L] / \mathbb{E}_p[L]$ ，且 $\mathbb{E}_p[L] = m - 1 > 0$ 保证它是唯一全局极小点

$\mathrm{IER} = \mathrm{Signal} / \mathrm{Noise}$ 。附录 B.3 的推论把它的含义钉死：在同一 prefix 上独立采 $K$ 次取平均，相对均方误差是 $1/(K \cdot \mathrm{IER})$ 。也就是说 IER 的倒数就是 K=1 时的相对估计误差，要压到 $\epsilon$ 以内需要 $K \geq 1/(\epsilon \cdot \mathrm{IER})$ 。

2.3 候选集近似

$\mathcal{C} = \mathrm{TopK}(z_\theta) \cup \mathrm{TopK}(z_T) \cup \{a\}$ ，在 $\mathcal{C}$ 上各自 softmax 得 $\widehat{p}, \widehat{q}$ ；缺失 logit 赋 −12， $\widehat{\rho}$ 截断到 [−30, 30]，分母下限取 $\epsilon = 10^{-8}$ 。

2.4 与基线方法的区别

既有的五条基线（Prefix、Entropy、TIP、TA-OPD、CA-SoftOR）全是位置有用性的度量：熵高不高、师生分歧大不大、教师质量落在学生 top-k 上有多少、位置靠不靠前。IER 与它们正交——它回答的是「给定这个 prefix，用一次采样能把这个位置的梯度估到多准」。两条轴各自都不完备：

“We also note that high IER does not indicate high usefulness of the supervision.” —— §3.2

附录 B.3 补了反向的一半：

“IER measures relative estimation accuracy, not gradient magnitude. … high IER gives no guarantee about gradient magnitude, task alignment, or the benefit of the resulting parameter update.” —— 附录 B.3

作者没有拿 IER 单打独斗当终点，给了 OR / AND 两个组合算子，让实验去判哪个更好。

3 实验结果

设置：数学侧两对模型——JustRL-Nemotron-1.5B → OpenMath-Nemotron-1.5B（strong-to-weak），JustRL-Qwen3-4B → Qwen3-1.7B（big-to-small）；DAPO-Math-17k 提示池，50 个 rollout 轮次；每 batch 4 prompts × 16 responses，Adam、lr = 1e-6；评 AIME 2025/2026 与 HMMT-Feb 2025/2026，32 samples/题，报 Bayes@32，SE ∈ [0.4, 1]。医学侧 ClinAlign-4B → Qwen3-4B，100 轮，HealthBench overall/hard，SE 约 0.5/1.0，judge 用 gpt-oss-120B。

3.1 三组锚点数字

	AIME25	AIME26	HMMT25	HMMT26
Student（Nemotron 对）	47.3	53.3	32.8	32.6
Full OPD	56.3	59.9	36.9	34.7
Teacher	58.6	62.3	40.6	35.7
Student（Qwen3 对）	11.6	10.3	8.4	10.4
Full OPD	14.4	12.5	8.7	13.4
Teacher	22.5	19.9	13.7	20.2

医学侧：Student 38.23/8.78，Full OPD 45.77/19.77，Teacher 46.37/20.24。

3.2 与全量 OPD 的对比，按配置拆开看

论文的 headline 是「0.1%–1% 的稀疏配置追平或超过全量 OPD」。把 Table 2 按模型对拆开，结论并不合并：

Qwen3 对（big-to-small）——成立，且幅度很大。TIP+IER-AND @0.1% 拿到 19.4/16.3/11.7/14.4，相对 full OPD 是 +5.0/+3.8/+3.0/+1.0，以 SE ≈ 0.7 计，z ≈ 7.1/5.4/4.3/1.4，四个基准里三个显著。这是全表最强的一格。

Nemotron 对（strong-to-weak）——不成立。同一个 TIP+IER-AND @0.1% 拿到 52.1/56.1/35.8/34.8，相对 full OPD 是 −4.2/−3.8/−1.1/+0.1，z ≈ −6.0/−5.4/−1.6/+0.1，两个基准上显著劣于全量 OPD。IER 单独使用 @0.1% 是 53.5/58.9/34.8/34.1，差 −2.8/−1.0/−2.1/−0.6，AIME25 与 HMMT25 上 z ≈ −4.0 与 −3.0。

把这一对上所有配置按 4 个基准取平均差（vs full OPD）：

0.1% 档：Random −4.1、IER −1.63、TIP+IER-OR −2.4、TIP+IER-AND −2.25 —— 全部为负
1% 档：IER −1.35、TIP+IER-AND −0.65、CA-SoftOR+IER-AND −0.05、TA-OPD+IER-AND +0.15 —— 基本持平
10% 档：Entropy+IER-OR +1.05、TIP+IER-OR +0.88、Prefix+IER-OR +0.73、CA-SoftOR+IER-OR +0.60 —— 略微转正

在同一个尺寸教师的配置上，加 IER 要推到 10% 预算才稳定回到 full OPD 之上，且那批「胜」的幅度大多落在 1 个 SE 内。

3.3 消融与敏感性

预算扫描（§5.4，0.1%–80%）非单调，且在两对模型上方向相反：Nemotron 上 IER 单独使用是 55.5 / 54.8 / 53.5（10% > 1% > 0.1%，单调降）；Qwen3 上 TIP+IER-AND 的 AIME25 是 16.0 / 17.1 / 19.4（10% < 1% < 0.1%，单调升）。
选择器相关性（Figure 1）：除 Prefix 外各选择器全局 Spearman 秩相关很高，top-10% 的 Jaccard 重叠却很低，预算越小重叠越低。
思考模式（§5.5）：thinking-on 下 TIP 单独使用会掉到 student 之下，TIP+IER-AND 在两种模式下都补得回来。
训练开销（Table 3）：IER 与 TIP/TA-OPD 的组合让 step time 涨 2.2%–2.5%，峰值显存最多涨 2.17 GiB（0.92%）。稀疏监督不省算力。

“Since we focus on the analysis of gradient estimation, our implementation still generates complete trajectories … sparse supervision in our setting does not imply proportional computational savings.” —— 附录 C.3

4 个人分析

4.1 亮点

把「选 token」这件事从一维拆成二维，是本专栏这条线上第一次有人动判据本身。 前十八期里，ActObs 按 token 来源（动作 vs 环境）分，E-SFT 按位置删，TrimSFT 按 logit gap 留，SP³O 按价值监督位置选——它们都在回答「挑哪些」。本文问的是「凭什么挑」，并指出有用性与可估性是两个不可互相替代的条件。这个拆分是干净的，Theorem 1 在 Fisher 几何下给出的分解也是自洽的。

它给出了一个免费的替代方案，而且自己写出来了。 推论 1 的 $K \geq 1/(\epsilon \cdot \mathrm{IER})$ 说明低 IER 的 token 并非「不能用」，只是「一次采样不够」。这句话把后续工作指得很清楚。

附录 C.3 的自陈很诚实。 明说不省算力，明说 Prefix 式的直接剪枝会漏掉重要 token，明说 IER 分数在靠后的位置会下降（Figure 5）。

4.2 局限性

（一）定理的恒等式在部署时被改小了三到四个数量级。 Theorem 1 的证明用到 $\mathbb{E}_p[L(a)] = \sum_a (1-p_a) = m - 1$ ，这个 $m$ 是全词表大小。候选集上对应的量是 $|\mathcal{C}| - 1 \in [15, 32]$ 。以 Qwen 系词表 151,936 计， $\mathbb{E}_p[L]$ 从约 $1.5 \times 10^5$ 掉到 15–32，差约五千到一万倍。最优基线 $b^\star$ 是 $\mathbb{E}[\rho L]/\mathbb{E}[L]$ ，分母掉了四个数量级， $b^\star$ 与被它减出来的噪声项全都跟着变。§5.2 那个支撑全文的关键观察——「fewer than 0.1% of tokens have scores above 1」——作者自己加了限定：

“That said, the estimated noise exceeds the signal under this approximation for most tokens.” —— §5.2

全篇没有一处把 $\widehat{\mathrm{IER}}$ 和全词表 IER 对过。 这个近似是必要的（全词表算不动），但「99.9% 的 token 噪声大于信号」究竟是真实分布的性质，还是候选集重归一化的产物，论文没有给判据。

（二）噪声项由被截断的长尾候选主导，clip 阈值直接决定结论。 $\widehat{\rho}$ 被截到 [−30, 30]，于是 Signal = Var $[\widehat{\rho}]$ 的硬上界是 900。噪声项 $\sum_{a}(1-\widehat{p}_a)(\widehat{\rho}_a - b^\star)^2$ 里， $(1-\widehat{p}_a) \approx 1$ 的正是那些低概率候选——也就是「一个模型的 top-16 里有、另一个没有」的 token，它们的 logit 被统一赋成 −12， $|\widehat{\rho}|$ 一律顶到截断值 30。IER 在相当程度上是在度量师生在长尾上的分歧被 30 这个截断压成了什么形状，而 clip=30、缺失 logit=−12、 $\epsilon=10^{-8}$ 三个数全篇没有扫描过，也没有报 $\widehat{\rho}$ 的分布。

（三）IER 不保证梯度幅度，全文没报梯度幅度。 附录 B.3 自己写了那句话（见 2.4）。既然高 IER 只说明「信号与噪声之比大」，而信号本身 $\|g\|^2_{F^+} = \mathrm{Var}_p[\rho]$ 可以任意小，那么 IER 选出来的那 0.1% token 对参数更新的实际贡献是未知的。论文用 IER 单独使用在 0.1% 就接近 full OPD 这一点作核心论据，却从没报过 $\|g\|$ 的绝对曲线。 比值型指标缺分子、缺分母各自的时间曲线，是本专栏第三次踩到（ActObs 的梯度范数比、Score Centering 的漂移比）。

（四）医学侧的 headroom 只剩 0.6 分，那一半证据承载不了任何结论。 Student 38.23 → Full OPD 45.77 → Teacher 46.37：全量 OPD 已经拿到 student–teacher 差距的 92.6%，留给「挑哪些 token」的空间只剩 0.60 分；hard 子集上是 0.47 分。而 Table 1 报的 SE 是「约 0.5/1.0」。全表最好的格子是 TA-OPD+IER-AND @10% 的 46.11/20.45，相对 full OPD 是 +0.34/+0.68，z ≈ 0.68。医学侧所有「追平或超过」都落在 1 个 SE 内。 评判模型 gpt-oss-120B 的宏 F1 是 0.6614，低于 HealthBench 默认 judge 的 0.709——评判噪声与组间差距同量级。

（五）Random 基线是被埋掉的最强发现。 Qwen3 对 AIME25：Student 11.6、Full OPD 14.4、Random@0.1% 13.6。随机挑千分之一的 token，就拿到了全量 OPD 七成的收益（(13.6−11.6)/2.8 = 71%）；AIME26 上 Random@0.1% 是 12.4 vs full OPD 12.5，拿到 95%。这一行被放在表的第一行当陪衬，正文一个字没讨论。它给出的解释与论文的机制叙事是竞争关系：在这一对模型上，限制因素不一定是「哪些 token 的梯度可靠」，而是「任何一点点教师监督都够」。 同一行在 HMMT26 上只有 7%（10.6 vs 13.4），四个基准并不一致——Random 的不稳定性本身就是需要解释的，而它恰恰是 Table 2 里唯一没有重复运行的一行（附录 C.4 说 Random 额外做了 three runs，正文表里没有）。

（六）两对模型的传递效率差 3 倍，方法的收益恰好集中在弱的那一对。 Nemotron 对，full OPD 拿到 student→teacher 差距的 79.6%（9.0/11.3）；Qwen3 对只有 25.7%（2.8/10.9）。IER 的全部显著收益都在传递效率只有 26% 的那一对上。 这是本专栏反复出现的模式：方法收益集中在基线最弱的设置上时，「有改善」与「这个设置本来就更容易改善」分不开。

（七）没有 seed 数。 全篇检索不到 seed 的报告，只有附录给 Random 补了 three runs。SE ∈ [0.4, 1] 是 Bayes@32 在题内 32 次采样上的标准误，不含训练随机性。在 1–3 分的差距上讨论「超过」，这个不确定性口径是不够的。

（八）训练规模与学习率。 数学侧 50 个 rollout 轮次 × 4 prompts = 200 个 prompt，占 DAPO-Math-17k 的 1.2%；lr = 1e-6。50 步、1e-6 的学习率下权重位移极小，这可以解释为什么各组差距普遍压在 1–3 分——也可以解释为什么预算从 0.1% 加到 80% 都拉不开差距。

（九）§5.4 的正文与 Figure 3 图注对不上。 正文写：Nemotron 对比 Prefix 与 TA-OPD 的 IER-OR 变体；Qwen3 对比 Prefix 与 TA-OPD 的 IER-OR 变体——两句话完全相同。Figure 3 的图注写的是 “Prefix (top) and TIP (bottom)“，且正文下一句又说 “The pair of Nemotron-based models (orange) uses IER-OR, and the pair of Qwen3-based models (blue) uses IER-OR”。两者至少有一处写错。

（十）§5.2 只报了差距最小的两列。 写「IER approaches full OPD on AIME26 (58.9 vs 59.9) and HMMT26 (34.1 vs 34.7)」，同一行的 AIME25（53.5 vs 56.3）与 HMMT25（34.8 vs 36.9）没进正文。

（十一）Figure 1 的论证在重尾下自动成立。 §5.2 自陈 IER 分数「extremely heavy-tailed」。在重尾分布上，「全局 Spearman 秩相关很高」由占绝大多数的长尾 token 决定（它们被所有选择器一致地打低分），「top-10% 的 Jaccard 很低」只由头部边界的抖动决定。两者可以同时成立，且不需要「IER 在看不同的维度」这个解释。

（十二）两个论证互斥。 若稀疏更好是因为多余 token 的梯度是噪声，那么按推论 1 增大 $K$ 应当能救回它们；若增大 $K$ 救不回来，限制就不在噪声上。论文用「预算增大收益不涨」论证稀疏更优，用「IER 低」论证噪声是原因，却没跑 $K > 1$ ——而这条替代方案是它自己的推论给出的。

（十三）并发工作的对照在附录里打了自己的脸。 附录 C.4：Liu et al. (2026d) 的 Sampled RKL max/min 在 Nemotron 对的 0.1% 与 1% 上「outperform almost all other selectors」，换到 Qwen3 对就退化到接近 Random 与 Prefix。论文由此承认 “no token selector performs best universally across all six settings”。回头看摘要里那句「adding IER improves existing selectors in multiple settings」，“multiple” 这个限定词的分量就重了。

（十四）同一个「0.1%」在两个任务上不是同一个干预强度。 数学侧最大响应长度 8,192 token，医学侧未报长度；§5.2 说医学侧 0.1% 预算「roughly one token per trajectory」。数学侧同样预算摊到 64 条响应上约 8 个/条。跨任务比较预算效应之前，先把百分比换成绝对 token 数。

4.3 对大模型领域的影响

OPD 已经是从前沿模型往小模型搬推理能力的标准动作，而「训哪些 token」一直是靠启发式。本文把它变成了一个可计算的量，并证明了这条轴与有用性分数不完全重合。真正确立的那部分是：在 big-to-small 蒸馏上，极度稀疏（0.1%）加上有用性×可估性的联合筛选，可以显著超过全量监督——这不仅省监督，还说明全量 OPD 里大部分 token 的监督是无效甚至有害的。

没有确立的那部分同样重要：在 strong-to-weak（同尺寸教师）这个更接近生产自蒸馏的配置上，0.1% 与 1% 都追不上全量 OPD，IER 单独使用还会显著掉分。 标题里的「1% of Tokens Can Be Enough」是有条件的。

5 实践启示

可以借鉴的技术

基线 $b^\star$ 是白拿的。 Theorem 1 的最优标量基线 $b^\star = \mathbb{E}_p[\rho L]/\mathbb{E}_p[L]$ 不改变梯度期望、只降方差。任何在做 sampled-token OPD 的训练栈都可以先加这一项，它不需要挑 token，也不需要改目标函数。
软 OR / 软 AND 的组合算子可以直接搬。 你手上已有的有用性分数（熵、师生分歧、位置）不用丢，归一化后与可靠性排序做 $1-(1-u)(1-r)$ 或 $u \cdot r$ 。论文在 5 个基线 × 2 个组合 × 2 对模型 × 3 个预算上跑完，AND 在 big-to-small 上更强，OR 在 strong-to-weak 上更稳。
按配置选预算，别抄标题。 strong-to-weak 用 10%，big-to-small 可以从 0.1% 起试。
把 IER 当审计工具，不只当选择器。 一个 token 位置的 IER 长期偏低，说明这个位置的单样本梯度估不准。这类位置值得单独加大采样数 $K$ ，而不是简单丢掉—— $K \geq 1/(\epsilon \cdot \mathrm{IER})$ 给了直接的预算公式。

上线前必须补的验证

全词表 IER 与候选集 $\widehat{\mathrm{IER}}$ 在一批 prefix 上对一次，量出近似偏差。
报 $\|g\|_{F^+}$ 的绝对分布，而不只是比值。
扫 clip 阈值（30）、缺失 logit（−12）、 $\epsilon$ （1e-8）三个数，给出敏感性。
至少 3 个训练 seed，把跨 seed 方差与题内采样 SE 分开报。
医学侧换成 headroom 更大的任务，或换回默认 judge；在 full OPD 已达 teacher 92.6% 的设置上，任何比较都是噪声。
补 $K > 1$ 的对照臂——这是论文自己的推论给的路径。

潜在应用场景：前沿模型到小模型的推理能力蒸馏（big-to-small 是本方法唯一显著成立的档）；教师 API 调用按 token 计费的场景下压缩监督成本；OPD 训练栈里的梯度质量监控（把 IER 当指标而非选择器）。

风险提示：候选集近似把定理里的 $\mathbb{E}_p[L] = m-1$ 换成了 $|\mathcal{C}|-1$ ，差三个数量级以上；在这条对照补上之前， $\widehat{\mathrm{IER}}$ 的绝对值不可信，只有它的排序经过了实验验证。

参考文献

Sheng, H., Ye, Z., Wang, H., Wang, J., Gu, J., & Kang, J. (2026). 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. arXiv:2609.24432 [cs.LG]. MBZUAI；蚂蚁集团. 代码：github.com/BruceSheng1202/IER-OPD