可学性权重的池依赖：离线 OPD 中把轨迹权重从池内相对排序还原为记录局部的绝对标定

背景与动机

离线在线策略蒸馏（offline on-policy distillation, offline OPD）把学生轨迹与教师监督一次性采集，在全部优化步中复用。Lightning OPD（arXiv:2604.13010）证明，只要满足 teacher consistency（SFT 与 OPD 使用同一教师），离线预计算教师 log-prob 就和在线 OPD 同最优，且省掉常驻教师推理服务。复用带来一个副作用：教师监督里的缺陷也一并持久。一条坏监督会在上百步更新里反复塑造学生。

LWD（arXiv:2609.18321）正面处理这件事。它不接受「教师失败即丢弃」，改为给每条教师失败记录算一个可学性权重。做法分四步：先在教师成功子集 $\mathcal{D}^{+}$ 上从采集策略 $\rho$ 训练 150 步得到参考检查点 $\pi_{+}$；再对每条教师失败轨迹 $\tau_i$（$i \in \mathcal{D}^{-}$）逐 token 计算

$\ell_{i,t}=\log \pi_{+}(a_{i,t}\mid s_{i,t})-\log \rho(a_{i,t}\mid s_{i,t}),$

取轨迹均值 $m_i$ 与标准差 $v_i$，在 $\mathcal{D}^{-}$ 内用 response-length-weighted 矩标准化为 $z^{m}_{i}$、$z^{v}_{i}$；按

$b_i=\begin{cases}\mathrm{low},& z^{m}_{i}\le -0.5 \ \lor\ z^{v}_{i}\ge 1.0,\\ \mathrm{high},& z^{m}_{i}\ge 0.5 \ \land\ z^{v}_{i}<1.0,\\ \mathrm{mid},& \text{otherwise}\end{cases}$

分成三档，名义权重 0.15 / 0.25 / 0.35；最后乘一个全局尺度因子，使 $\mathcal{D}^{-}$ 上的 token 加权平均权重落在 $\omega_0=0.25$，并截断到 $[0.15,0.35]$。

问题出在信号到权重这一步的标定环节，共五处。

权重是池的函数，不是记录的函数。 $z$ 标准化的均值与标准差取自 $\mathcal{D}^{-}$ 自身。$\bar{\ell}_i$ 本身是 nats/token 的绝对量，论文给它的语义定义也是绝对的（正值表示成功-only 学习提升了该 token 的似然），进入分档后却被换成一条记录在同批记录中的相对位置。换教师、合并两批采集、增删记录，都能在不触碰 $\tau_i$ 的前提下改变 $w_i$。离线 OPD 的核心资产是可复用的记录；标注随批次浮动，记录就不再是可复用资产。

分档与语义可以反向。 high 档的条件是 $m_i \ge \mu_m+0.5\sigma_m$。当 $\mu_m \le -0.5\sigma_m$ 时，整个 high 档的 $\bar{\ell}_i$ 都 $\le 0$：成功-only 学习实际压低了这些轨迹的似然，它们却拿到最高权重 0.35。$\mu_m$ 与 $\sigma_m$ 都能直接测，这个条件成立与否是二值判断，不需要新训练。

$v$ 对 $m$ 有绝对否决权，权重对可学性水平非单调。 分档规则里 $z^{v}\ge 1.0$ 单独触发 low，与 $z^{m}$ 取值无关。一条 $z^{m}=+3$、$z^{v}=1.5$ 的轨迹拿 0.15，一条 $z^{m}=+0.6$、$z^{v}=0.9$ 的轨迹拿 0.35。论文 Figure 3 给三档的定性描述是「完整解 / 含重复检查 / 停滞重启」，那是水平描述；$v$ 是离散度，对 token 顺序置换不变。停滞轨迹在 token 上均匀微负，$v$ 小、$m$ 略负，落 mid；完整解若逐段响应差异大，$v$ 大、$m$ 正，落 low。两者的档位与 Figure 3 的叙述相反。

标注按轨迹算，预算按 token 结算。 $m_i=(1/T_i)\sum_t \ell_{i,t}$，其抽样标准差随长度按 $1/\sqrt{T_i}$ 衰减，而标准化用的 $\sigma_m$ 由长轨迹主导。取最大训练响应长度 4096 token 与一条 1024 token 的轨迹作对照，后者 $m$ 的抽样标准差是前者的 2 倍（本文按独立近似推算，33-token 移动平均不改变这个 $1/\sqrt{T}$ 标度）。短轨迹的 $|z^{m}|$ 被系统性放大，两端档位被短轨迹占据；而权重乘的是 $\sum_t d_{i,t}(\theta)$，长轨迹贡献的 token 更多。

代码域的失败标签是格式谓词。 论文附录 A.3 原句：代码域教师成功「is approximated by normal termination and strict extraction of a complete Python program」，且「These code labels measure format validity rather than functional correctness」。$\mathcal{D}^{-}_{\mathrm{code}}$ 是按格式划分的子集，不是按难度。整条叙事（教师失败是粗粒度难度信号，轨迹里仍留有可用监督）在代码域换了对象。若 $\mathcal{D}^{-}$ 混合数学与代码，池内标准化会用同一组矩归一化两个语义不同的分区。

五处的共同结构。 前四处是同一个动作的两个侧面：把一个有绝对刻度的量（nats/token 的 $\bar{\ell}_i$）送进一个由批次决定的映射，再把这个映射的输出当成记录属性来用。池一变，输出就变，而记录本身没动。第五处则说明，当池本身异质（数学与代码混合）时，这套映射连「同一批内可比」都做不到——用一个矩归一化两个语义不同的分区，得到的排序既不跨批稳定，也不批内同义。ARL 的改动全部落在中间那一步，也就是映射本身；$\ell_{i,t}$ 与下游 loss 都不动。

核心思路

提出 ARL（Absolute Record-Local Learnability，记录局部可学性标定）。主张一句话：可学性权重应当是记录的函数，权重随同批其他记录浮动的那部分属于标定误差，不属于信号。

信号侧原样保留 $\ell_{i,t}$，改动集中在「token 级信号如何变成权重」：

1. 绝对锚定。 用 $\bar{\ell}=0$（nats/token）作语义锚点，替代 $z=\pm 0.5$。零点是论文语义定义里唯一有解释的刻度：净提升、无变化、净压低。三档改按绝对区间切分，端点由固定校准集定，不由 $\mathcal{D}^{-}$ 的矩定。
2. 长度分层噪声刻度。 按长度分位估 $\hat{\sigma}_{\ell}(T)$，用 $z_i=m_i\sqrt{T_i}/\hat{\sigma}_{\ell}(T_i)$ 替代全池 $\sigma_m$，让 $z$ 的刻度在长度上可比。
3. 单调化分档。 $\omega_i=\omega_{\mathrm{base}}(m_i)\cdot\psi(v_i)$，$\psi\in(0,1]$ 单调递减。$v$ 只削减、不否决，保住「提高 $m$ 不会降低权重」的单调性。

另有两项不改动训练代码：

4. 记录侧溯源字段。 把 $(\rho\text{-id},\ \pi_{+}\text{-id},\ |\mathcal{D}^{+}|,\ c_i$ 判定器版本, 标准化协议与阈值, 名义 $\omega$, 标定后实际 $\omega_i)$ 写进离线记录。LWD 已产出全部这些量，落盘不增加任何前向。
5. 免训练池扰动审计。 只需 $\rho$ 与 $\pi_{+}$ 各一次前向，重算矩即可量化池依赖。

与现有工作的区别。 对 LWD，区别在标定而不在信号，$\ell_{i,t}$ 一个字不改。$\gamma$OPD（arXiv:2609.16937）用折扣时序信用分配处理 loss 侧的跨步信用，与本提案的权重侧刻度作用在不同变量上，可直接叠加。CCL（arXiv:2609.17474）靠源域奖励反馈校准教师，需要一条额外反馈通道；ARL 不需要任何新反馈，只用已存在的两次前向。

结构性退化点。 当 $\mathcal{D}^{-}$ 满足 $\mu_m=0$、$\sigma_m=1$、长度齐一且 $v_i\equiv 0$ 时，绝对锚定与 $z$ 分档给出同一组档位。在人工构造的齐一池上测到差异，就是实现错误。

反向限定。 池内相对排序并非必然更差。若 $\mathcal{D}^{-}$ 的难度分布随采集批次漂移，池内排序恰好完成一次隐式难度归一化，绝对锚定会丢掉这个免费好处。可证伪预测 P4 专为分辨这两种情形而设。

可证伪预测（P1–P4）。 前三条零训练即可判定，第四条需要跑完四臂对照：

• P1（池依赖确实存在）：三种池扰动下的档位一致率须显著低于 100%。若随机对半重标准化的一致率就已接近 100%，则池依赖在本数据集上不构成实际问题，绝对锚定失去立论前提。
• P2（符号翻转）：$\mu_m\le-0.5\sigma_m$ 成立，且 $\sigma_{\mathrm{flip}}>0$。若实测 $\mu_m>-0.5\sigma_m$，则「整个 high 档的 $\bar{\ell}_i\le 0$」这一条件在数学上不可能触发，第 2 条批评在该数据集上不成立。
• P3（长度耦合）：$\mathrm{sd}(m_i)\sqrt{T_i}$ 的跨长度层变异系数须显著大于纯抽样噪声预期。若它已在抽样噪声的波动范围内为常数，则长度分层无收益，第 4 条批评只余下「标注按轨迹、预算按 token」这半个。
• P4（池内排序 vs 绝对锚定）：批次间难度分布稳定时预期 C > B；分布随批次漂移时预期 C $\le$ B。两者都是本提案的预期结果，但含义相反——前者支持绝对锚定，后者说明池内排序在做一次有用的隐式难度归一化。P4 是唯一一条「两个方向都算成立」的预测，它的价值在于把「ARL 有没有用」拆成「在什么采集条件下有用」。

ARL 不解决的问题。 它只改标定，不改 $\ell_{i,t}$ 本身的质量。若 $\pi_{+}$ 只训 150 步尚不足以让 $\ell$ 收敛，或教师监督本身带系统性缺陷，绝对标定只是把误差表达得更诚实，不会让误差变小。同理，第 5 条「代码域失败标签是格式谓词」ARL 只能用分域标定缓解（分域定端点、分域报档位统计），不能修正标签语义本身——那要换的是教师成功的判定方式，属于另一条工作线。

技术路线

审计与复算（零训练）。 从 LWD 的存储记录出发，用 $\rho$ 与 $\pi_{+}$ 各一次前向拿到 $\ell_{i,t}$，测三个量：

• 符号翻转率 $\sigma_{\mathrm{flip}}=|\{i: \bar{\ell}_i\le 0 \land b_i=\mathrm{high}\}|/|\{i: b_i=\mathrm{high}\}|$。触发条件 $\mu_m\le-0.5\sigma_m$ 成立时该值可达 1。
• 长度—档位耦合：按 $T_i$ 分十层，报每层的档位占比与 $\mathrm{sd}(m_i)$，检验 $\mathrm{sd}(m_i)\sqrt{T_i}$ 是否为常数。
• $v$-否决率 $|\{i: z^{v}_i\ge 1.0 \land z^{m}_i\ge 0.5\}|/|\mathcal{D}^{-}|$。

池扰动诊断（零训练）。 三种扰动下重算档位并报一致率：随机对半重标准化；数学与代码 $\mathcal{D}^{-}$ 混合；换更强教师重划 $\mathcal{D}^{+}/\mathcal{D}^{-}$ 使 $\mathcal{D}^{-}$ 缩小。第三种一并量出 $\mu_m$、$\sigma_m$ 的移动量与 high 档绝对含义的漂移。

校准集。 从 $\mathcal{D}^{+}$ 留出 $\mathcal{D}^{+}_{\mathrm{cal}}$ 不参与 $\pi_{+}$ 训练，在其轨迹上算 $\bar{\ell}$ 的分布，用分位数定绝对区间端点。$\mathcal{D}^{+}_{\mathrm{cal}}$ 与 $\mathcal{D}^{-}$ 不重叠，端点不随 $\mathcal{D}^{-}$ 组成变动。

长度分层与单调化的具体实现。 按 $T_i$ 十分位分十层，层内估 $\hat{\sigma}_{\ell}=\mathrm{sd}(\ell_{i,t})\sqrt{T_i}$ 的层均值；取 $\psi(v)=1/(1+\lambda v_i/\hat{s})$，$\hat{s}$ 为 $\mathcal{D}^{-}$ 的 $v$ 中位数，$\lambda$ 扫 $\{0,0.5,1,2\}$。$\lambda=0$ 且档位由 $z$ 给定时，ARL 退化为 LWD 的权重结构。

四臂训练对照。 沿用 LWD 全部配置：Qwen3-8B 教师，Qwen3-1.7B-Base 与 Qwen3-4B-Base 学生，DAPO-Math-17K 与 EpiCoder 函数子集，150 步更新，全局批 256，学习率 $2\times10^{-6}$，最大响应长度 4096。

C 与 D 的差分离出长度之外的信息，B 与 C 的差分离出标定改动本身。评测沿用 avg@32（AIME24 / AIME25 / HMMT25）与 avg@4（LCB v5 / LCB v6），固定最终检查点，不做选择。

关键技术挑战。 短轨迹层样本少，$\hat{\sigma}_{\ell}(T)$ 端点不稳，改用带宽随长度自适应的核估计，或在长度上拟合 $\mathrm{sd}(m)=aT^{-b}$ 并检验 $b$ 是否接近 0.5。绝对端点固定后，$\mathcal{D}^{-}$ 的档位分布不再受控，token 加权总预算会漂移，保留 LWD 的全局尺度因子与 $[0.15,0.35]$ 截断作为预算约束而非标定工具，把档位分布与总预算两个自由度分开。代码域分区语义不同，改为分域标定、分域报档位统计，并把跨域混合当作扰动而非默认操作。$\ell_{i,t}$ 先截断到 $[-4,4]$ 再做 33-token 平滑，截断在长短轨迹上的累积效应不同，需按长度层分别统计截断命中率。

预期成果

零训练即可产出的四项。 符号翻转率与 $\mu_m/\sigma_m$ 实测值，判定 $\mu_m\le-0.5\sigma_m$ 是否成立；$\mathrm{sd}(m_i)\sqrt{T_i}$ 的跨长度层变异系数；$v$-否决率；三种池扰动下的档位一致率。

训练侧。 C 相对 B 在五个基准上的差值。LWD 消融阶梯给出 Full 55.0、Zero 55.5、Shared reduced 56.4、Learnability 57.1：逐轨迹分配相对「一个全局共享标量」只值 0.7 个百分点。标定改动若能回收其中一半（0.35 个百分点），即与整套逐轨迹机制同量级。反向判据同样明确——C $\le$ B 说明池内排序确实编码了有用信息。

效率。 ARL 不增加前向次数与 GPU 小时，与 LWD 同为 2 GPU / 21.90 GPU 小时，全部输入在现有流水线里已存在。

更广的影响。 离线 OPD 的记录要能跨批拼接、跨教师复用、事后审计，写在记录上的标注就得是记录的函数。这条不只对可学性权重成立：批内 $z$ 分数、批内百分位、批内 top-k 都是同一类标注。ARL 给出把这类标注还原为绝对量的通用两步——找语义零点当锚点，按混淆变量分层估噪声刻度。

相关工作

1. Yihao Ai, Weilong Yan（新加坡国立大学，2 位作者），Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers，arXiv:2609.18321（2026-09-16）。本提案的直接对象；$\ell_{i,t}$ 原样保留，改动在标定环节。
2. Yecheng Wu, Song Han, Hai Cai（3 位作者），Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation，arXiv:2604.13010（2026-04-14）。离线 OPD 基线、teacher consistency 条件的来源，也是 A 臂协议。
3. Shiqi Liu 等（12 位作者），Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation，arXiv:2609.16937（2026-09-15）。$\gamma$OPD 处理 loss 侧时序信用分配，与本提案的权重侧刻度互补。
4. Haichen Hu, Yuheng Zhang, David Simchi-Levi（3 位作者），Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback，arXiv:2609.17474（2026-09-15）。代表「额外反馈通道」路线，与 ARL 的零额外反馈路线对照。
5. Sikun Wang 等（4 位作者），GraphEcho: Structural Redundancy and Evidence Provenance in LLM Graph Agents，arXiv:2609.17695（2026-09-15）。其 provenance-aware post-training 降低重复访问却覆盖更少独立信源，在科学命题上重复下降伴随准确率下降，给出「优化一个代理量会牺牲绝对覆盖」的实测样例，与本提案对 $v$-否决的批评同构。