研究提案已修订

校准感知的稀疏在线蒸馏 token 分配：把教师自偏离死区提升为词表级目标

把 Cal-OPD 的标量区间门提升为候选集上的词表级目标，在其上重算梯度估计可靠度，解决稀疏监督选择与信号校准互不窥见、且只有无信息顺序付得起算力的死锁

2026年9月23日在线蒸馏稀疏监督 token 选择梯度估计教师自偏离数据工程大模型后训练强化学习

背景与动机

在线蒸馏（OPD）把教师的逐 token 似然差变成稠密监督，已经成为推理模型后训练的主力路线。过去两个月里，这条路线分化出两条互相独立的效率轴。

第一条轴管「教师算力花在哪」：稀疏 OPD 只把教师监督分配到轨迹里的一小撮 token 上。arXiv:2609.24432 从信息几何出发，把单样本 reverse-KL 梯度拆成信号与采样噪声，定义信息效率比 $\mathrm{IER}=\mathrm{Signal}/\mathrm{Noise}$ ，其中 $\mathrm{Signal}=\mathrm{Var}_p[\rho(a)]$ 、 $\mathrm{Noise}=E_p[(\rho(a)-b^\star)^2 L(a)]-\mathrm{Var}_p[\rho(a)]$ 、 $\rho(a)=\log(p_a/q_a)$ 、杠杆因子 $L(a)=(1-p_a)/p_a$ 、最优标量基线 $b^\star=E_p[\rho(a)L(a)]/E_p[L(a)]$ 。该文在 0.1%–1% 的 token 预算上让稀疏配置追平乃至超过不做选择的全量 OPD。

第二条轴管「教师信号花得值不值」：arXiv:2609.21619 指出教师似然本身在上下文干预下不稳定（教师自偏离，TSD），标准 OPD 把这部分偏离当成能力差距一并学走。它用正负特权干预估出偏离区间的上下界 $[L^T_t,U^T_t]=[\ell^T_t-\lambda\hat d^{\downarrow}_t,\ \ell^T_t+\lambda\hat d^{\uparrow}_t]$ （松弛因子 $\lambda=5$ ），只保留区间之外的残差，落在区间内则置零。

两条轴落在同一个对象上。在被采样的那个 token 上，IER 的 $\rho$ 与 Cal-OPD 的优势 $A^{\mathrm{OPD}}_t=\ell^T_t-\ell^S_t$ 互为相反数。把式 (13)(14) 代进 $A$ 的定义，Cal-OPD 做的事可以写成

$A^{\mathrm{Cal}}_t=[A_t-\lambda\hat d^{\downarrow}_t]_+-[-A_t-\lambda\hat d^{\uparrow}_t]_+$ ，

即一个带死区、两侧宽度不等、宽度逐 token 变化的软阈值算子。于是 IER 的全部统计量都成了被替换过的 $\tilde\rho$ 的泛函： $\tilde\rho=[\rho-\lambda\hat d^{\uparrow}]_+-[-\rho-\lambda\hat d^{\downarrow}]_+$ ，死区为 $\rho\in[-\lambda\hat d^{\downarrow},\lambda\hat d^{\uparrow}]$ 。 $\tilde\rho$ 里的两个宽度与 IER 之间不存在单调关系，排名不保持。

现有方案的不足有三处，都不是参数调一调能补上的。

第一处是定理前提被破坏。Theorem 1 的前提写明「for any non-constant $\rho(a)$ 」，Definition 1 写明「When $\mathrm{Noise}>0$ 」。死区内的 token 满足 $\tilde\rho\equiv 0$ ，代入即得 $\mathrm{Signal}=\mathrm{Var}_p[0]=0$ 、 $b^\star=0$ 、 $\mathrm{Noise}=0$ ，IER 退化成 $0/0$ 。Cal-OPD 报告零优势 token 占比沿训练从 27% 升到 34%，这批 token 的 IER 分值无定义。24432 用的是归一化排名（IER-OR / IER-AND 与有用性分做软逻辑组合），在一个约三成条目无定义的池上做归一化，会牵动其余每一条。

第二处是候选集用了被判定为不可靠的那一侧。24432 的近似候选集是 $C=\mathrm{TopK}(z_\theta)\cup\mathrm{TopK}(z^T)\cup\{a\}$ ，其中 $\mathrm{TopK}(z^T)$ 正是 Cal-OPD 判定为上下文不稳定的教师侧；缺失 logit 用 $\epsilon$ 填充、 $\hat\rho$ 截断到 $\pm30$ ，再叠一层死区，是三重近似的串联。

第三处是两条轴的成本方向相反，且只有一种组合顺序付得起。24432 自陈 sparse supervision「does not imply proportional computational savings」，实现里教师 logit 仍逐 token 全算，保留 10% 时每步耗时反而 +2.3%。Cal-OPD 的 TSD 估计「bounded by two teacher forward passes」，每步 50.05 分钟对 35.19 分钟（约 1.42 倍）。朴素叠加等于教师侧约三倍前向，比任一父方法都贵。付得起的顺序只有「先选、后校准」，而这个顺序下的选择看不到校准，也就是用未校准的信号挑要校准的对象。

把两组数字并起来可以算出这条死锁的真实量级，而不必停在「三倍前向」这种计数口径上。21619 附录 A.8 的 Table 12 给出同一配置（30B-A3B → 8B）下 Cal-OPD 每步 50.05 分钟、OPD 35.19 分钟，差值 14.86 分钟就是那两次额外教师前向的价格，约占单步的 42%。24432 侧保留 10% 时每步仅 +2.3%，说明选择本身几乎不花钱。于是朴素叠加 ≈ 35.19 × 1.023 + 14.86 ≈ 50.9 分钟（1.45 倍 OPD），只比 Cal-OPD 单独的 50.05 分钟贵约 1.6%；而「先选、后校准」把 TSD 探测压到约 2% 的探针 token 上，额外开销降到 0.3 分钟量级，合计约 36.3 分钟。死锁的真实形态因此不是「叠加后贵到跑不动」，而是「叠加后比顺序执行贵约 40%，且贵的那部分恰好是可以选择性省略的那部分」——这个说法更准确，也更容易在设计评审里守住。

这不是小修。Cal-OPD 自己的 Token-Sync 对照把这件事量化了：随机抹掉同等比例的 token 得 50.1，低于标准 OPD 的 50.8，而 Cal-OPD 得 53.1——抹掉哪一批值 3.0 个点。24432 侧有同构证据：1% 预算下 Random 在 AIME25 上是 50.9，IER 是 54.8，选对那 1% 值 3.9 个点。两边各自证明了 token 身份是主要变量，而现有的选择器对死区一无所知。

21619 的 Table 13 还能把「+2.3 分」拆开，这个分解直接决定 SPARC 的收益天花板。同一张表里除了 Token-Sync（50.1）还有 **TSD-Filter**：按 TSD 阈值筛掉 token、但不做校准残差，τ=0.1 时得 **52.7**。于是 OPD 50.8 → Cal-OPD 53.1 这两点三分可以拆成三段：随机稀疏化 −0.7（50.8→Token-Sync 50.1）、按 TSD 选对 token +2.6（50.1→TSD-Filter 52.7）、校准残差 +0.4（52.7→53.1）。三段之和 +2.3 与总增益自洽。也就是说**收益的绝大部分来自「按 TSD 挑对要抹掉的 token」，而不是来自「把残差校准得多精细」**——前者正是 SPARC 要补的那一环，后者是 Cal-OPD 已经做完的部分。推论有两个方向：一是 D 臂的合理预期应锚在 +2 分附近而非 +4，二是如果 D 臂做不到 52.7 以上，说明问题出在「选择」，如果做到了却追不上 53.1，说明问题出在「候选级 TSD 的表达力」（即第二步 A 路假设不成立）。同一张表还显示阈值是敏感旋钮：τ 从 0.1 收紧到 0.05、0.01，分数依次掉到 51.1、49.4，这为 P4 的 λ 扫描提供了现成的敏感度参照。

核心思路

提出 SPARC（Sparse Position Allocation under Rectified Calibration），把「校准」从标量门提升为词表级目标，再在其上做梯度可靠性选择。三件事：

第一件是提升。Cal-OPD 给的是对数似然轴上的一个标量区间，只作用于被采样的那个 token；IER 需要的是候选集里每个 $a\in C$ 的 $\tilde\rho(a)$ 。SPARC 把区间门按上面的软阈值形式搬到每个候选上，得到完整的 $\tilde\rho$ 。

第二件是换轴。在 $\tilde\rho$ 上重算 Theorem 1 的三件套，得到 $\widetilde{\mathrm{IER}}$ ；估计器实际使用的基线换成 $b^\star(\tilde\rho)$ ，不再是 $b^\star(\rho)$ 。基线不影响无偏性（ $E_p[\varphi_a]=0$ ），影响的是方差，这一步回收的正是「最优基线不再最优」那部分。

第三件是预算记账。选择发生在 $\tilde\rho$ 上，预算按校准后的信号结算； $\tilde\rho\equiv0$ 的 token 显式记为 0 并从归一化分母中剔除，而不是让它以 $\epsilon$ 和截断决定的值参与排序。

与现有工作的边界：24432 选的是「未校准信号的估计可靠度」，SPARC 选的是「实际参与训练的那个信号的估计可靠度」；21619 校准了目标却没有词表级表达，SPARC 给它一个；SPOT（arXiv:2608.04419）同样联合处理「在哪探测」与「蒸馏什么」，但探测分由教师熵、top-k 质量、师生不匹配构成（有用性族），校准用的是 verifier 打分的续写结果（结果侧），而 TSD 是教师侧的上下文不稳定性，与结果正确性正交——SPOT 全文 gradient estimation、control variate、self-deviation 三词零命中；vOPD（arXiv:2605.07865）的闭式基线是 per-token 负 reverse-KL，在 $\rho$ 下导出， $\rho$ 换成 $\tilde\rho$ 后该闭式不再等于被估计量的均值。

技术路线

第一步，死区宽度的免教师预测。这是打破成本死锁的钥匙。在约 2% 的探针 token 上跑完整的正负特权干预拿到 $(\hat d^{\downarrow},\hat d^{\uparrow})$ ，再用不需要额外教师前向就能读到的特征回归：学生熵、 $|A^{\mathrm{OPD}}|$ 、位置、token 语义类（功能词 / 格式 / 推理内容）、教师 top-1 margin。可识别性判据先写死：若回归的解释力低到预测等价于常数，SPARC 就退化成全局 $\lambda$ 缩放，主假设无功效，此时报告 NA，不得填 0。

第二步，候选集上的提升。两条路：A 把 $(\hat d^{\downarrow},\hat d^{\uparrow})$ 当位置级常数，作用于 $C$ 内全部候选，便宜但假设 TSD 宽度与候选身份无关；B 对 top-K 教师候选逐个做干预，贵 $|C|$ 倍。先走 A，用 B 在一个子集上做偏差审计，把 A 的偏差量报出来。

第三步， $\widetilde{\mathrm{IER}}$ 与 $b^\star(\tilde\rho)$ 重算，并对 $\epsilon$ 填充、 $\pm30$ 截断、死区这三层近似做单独的数值审计。

第四步，归一化与排除规则。排序池按「 $\tilde\rho$ 非常数」筛选后再归一化，被排除的 token 单独计数上报。

第五步，四臂对照。A 全量 OPD；B IER@1%（24432 原协议）；C Cal-OPD 全量（21619 原协议）；D SPARC，即 $\widetilde{\mathrm{IER}}$ @1% 加 Cal-OPD。退化点： $\hat d^{\downarrow}=\hat d^{\uparrow}=0$ 时 $\tilde\rho=\rho$ ，SPARC 严格退化为 24432；「TSD 宽度测得处处为 0 却仍测到差异」时，判据指向实现错误。

四条可证伪预测。P1： $\mathrm{IER}(\rho)$ 与 $\widetilde{\mathrm{IER}}$ 的 Spearman 低于 1，且两者 top-1% 集合重合度低于 95%；重合度高于 95% 即说明选择已经对校准免疫，本文前提作废。P2：IER@1% 选出的 token 中 $A^{\mathrm{Cal}}=0$ 的比例超过 20%（独立情形下的期望是 27%–34% 量级）；低于 5% 则说明 IER 已在隐式避开 TSD token，预算论证作废。P3：D 臂不低于 B 臂与 C 臂，教师前向数不超过 C 臂的三分之一；若 D 低于 B，说明死区在小预算下毁掉的比救下的多。P4： $\lambda$ 扫描。21619 固定 $\lambda=5$ ；预算越小，死区与预算的冲突越强，预测 $\lambda^\star$ 随预算上升而上升、在预算趋近 100% 时回到 5。若 $\lambda^\star$ 对预算不敏感，本文主张的「预算与死区耦合」不存在。

P1 有一条必须先堵住的退路。当死区宽度按第二步 A 路处理成位置级常数 $(c_1,c_2)=(\lambda\hat d^{\downarrow},\lambda\hat d^{\uparrow})$ 时，$\tilde\rho(a)=[\rho(a)-c_2]_+-[-\rho(a)-c_1]_+$ 对 $\rho(a)$ 逐元素单调不减，且同一个映射作用在每一个 token 上。此时排序差异只能来自 IER 泛函对候选向量形状的非线性依赖，属二阶效应；若各 token 的候选向量结构相近，排名会大体保持，P1 的「重合度低于 95%」不会被触发。可这并不代表前提成立，只代表 A 路没有分辨力。处置办法是 P1 按 A、B 两路分别登记，并显式预测 B 路的排名扰动显著大于 A 路：若 A 路重合度接近 100% 而 B 路显著下降，结论就是候选级 TSD 不可省略，本文最贵的一步反而是必需的；若两路重合度都接近 100%，才是真正的前提作废。

关键技术挑战集中在两处：TSD 宽度能否在不做特权前向的条件下被预测（不可预测则整条免教师路径失效，需回退到步数更少的间歇式探测）；候选级 TSD 是否与候选身份无关（第二步 A 路的核心假设，必须由 B 路审计）。

预期成果

定量目标：在 1% 预算叠加 Cal-OPD 的设定下，被选中 token 里 $A^{\mathrm{Cal}}=0$ 的比例从 27%–34% 量级降到 10% 以下；四臂中 D 臂不低于 C 臂，教师前向数不超过 C 臂的三分之一；主假设成立时，AIME 系列相对 IER@1% 回收 1 个点以上。

定性目标：给出「标量校准门 → 词表级目标」的提升形式，使任何以区间或门限表达的校准都能接进以分布为输入的可靠性分析；给出「先选后校准」何时安全的判据（即 P1 的重合度阈值）。

影响面：稀疏监督与信号校准是目前唯二被验证过的 OPD 效率轴，二者各自的收益量级都在 2–4 个点。把它们接起来的形式化一旦成立，教师侧算力可以在不牺牲校准质量的前提下再压一个数量级；若不成立，P1 与 P2 也会把「不成立的原因」定位到具体统计量上，而不是留成一句工程经验。

局限性与失效模式

口径跨配置迁移。27%–34% 的零优势 token 占比出自 21619 的 Figure 4（Qwen3-4B-Thinking-2507 → Qwen3-1.7B 的 Cal-OPD 训练动态），而 24432 的 1% 预算数字出自 JustRL-Nemotron-1.5B 与 JustRL-Qwen3-4B → Qwen3-1.7B、DAPO-Math-17k prompt 池。P2 把前者当作「独立情形下的期望」是跨配置借用，四臂对照应在同一 teacher–student 对与同一 prompt 池上重测这条基线，否则「超过 20%」这个阈值没有校准过的参照。
A 路的分辨力风险。见 P1 的单调性退路：位置级常数宽度下 $\tilde\rho$ 对 $\rho$ 逐元素单调，排名扰动可能低于检出阈值，P1 与 P2 会一起静默失效，且失效形态与「前提成立」无法区分。两路分测是唯一解。
免教师回归还有第二种退化。第一步已写入「解释力等价于常数则报 NA」，但更隐蔽的情形是回归拟合得不错却只学到了 $|\rho|$ 的边际、学不到死区宽度的条件差异，此时 $\tilde\rho$ 会系统性地把死区设窄，D 臂看起来像「比 C 臂更激进的过滤」而不是「更准的选择」。需补一条诊断：按 $|A^{\mathrm{OPD}}|$ 分箱后，预测宽度与实测宽度的条件相关。
收益天花板已经由 Table 13 给出。TSD-Filter 52.7 与 Cal-OPD 53.1 只差 0.4，D 臂的合理预期是 +2 分附近，而不是两侧收益相加的 +4。
24432 自陈的 IER 边界对 $\widetilde{\mathrm{IER}}$ 同样成立。IER 衡量相对估计精度而非梯度量级，高 IER 不保证该 token 的参数更新有用；按非恒定系数重缩放会等比例缩放信号与噪声。提升为 $\widetilde{\mathrm{IER}}$ 不会绕过这条限制，所以 D 臂仍需与有用性分组合（IER-OR / IER-AND）而非单独使用。
成本结论依赖单一配置，且在师生规模接近时会反转。14.86 分钟／两次前向的换算来自 21619 附录 A.8 的 30B-A3B → 8B 一行，该配置下教师远大于学生，额外前向占主导。同一张表的 4B → 1.7B 一行相反：Cal-OPD 每步 14.90 分钟，反而快于 OPD 的 18.80 分钟，因为 Cal-OPD 抑制了 OPD 的响应长度膨胀。在师生规模接近的配置上，TSD 探测的代价被省下的解码长度抵消，「先选后校准」的成本优势会显著缩小，P3 的教师前向数约束应按配置分别写，不能照抄 1.42 倍。