教师不再是常量：自外推在线蒸馏中的接地比感知数据选择

背景与动机

在线蒸馏（on-policy distillation, OPD）把后训练的监督粒度从序列级奖励推进到逐 token 分布，近两年进入 Qwen3、MiMo、GLM-5 等模型的后训练流水线。改进沿两条轴推进，一条是教师轴，一条是数据轴。

教师轴的最新进展是 RISE（arXiv:2609.05295，Salesforce AI Research，3 位作者）。它不引入外部教师，也不使用特权条件，而是把模型自身 RLVR 轨迹里的位移——当前 checkpoint 与滞后锚点之间在参数空间或 logit 空间上的差——沿原方向外推，构造出「未来策略」π_future，再把它蒸馏回当前策略。教师每轮随学生刷新，蒸馏从一次性压缩变成递归改进。默认配置为 β0 = 1.2 线性衰减到 βN = 1、K = 100（代码任务 K = 20）、锚点更新率 η 对 Qwen 取 0.1 的 EMA、对 OLMo 取 1。

数据轴的最新进展是《What Matters in On-Policy Distillation?》（arXiv:2609.05198，4 位作者）。它把 OPD 的数据侧单独拆开：只用一条样本训练（1-shot OPD）就稳定有效；驱动改进的不是高 token 熵，而是难题天然产生的长 CoT 路径——长视野让学生的分布与教师在更长的跨度上保持对齐，并带来短 CoT 里缺失的反思模式（“Alternatively”）。据此提出的选择方法是只留难题，原文明确写了连教师完全解不出的 unsolvable 样本也可以成功使用；在 1.5B 到 7B 的四组配置上，8 条精选难题追平 17K 全量蒸馏的基线。

两篇论文处理同一条流水线、同一族语料（RISE 的数学臂在 DAPOMath 上训练一个 epoch，2609.05198 的对照片正是 DAPO-Math-17K 全量蒸馏），却互把对方的核心变量当常量。

2609.05198 的教师是固定的外部检查点：学生为 DeepSeek-R1-Distill-Qwen-1.5B，教师为其 GRPO 训练后的对应模型 JustRL-DeepSeek-1.5B，其余三对为 Skywork-OR1-Math-7B → DeepSeek-R1-Distill-Qwen-7B、Qwen3-4B → Qwen3-1.7B-Base、Qwen3-4B → Qwen3-4B-Base。训练环里没有结果奖励——全文 reward 只出现 2 次，且都指 RLVR 作为 OPD 的补充、以及教师的 dense reward。

RISE 走向另一面：教师由训练流自身生成，而全文对 data selection、prompt set、difficulty、pass rate、curriculum、filter 六项检索全部零命中（selection 唯一一次命中是购物任务里的 “option selection”）。

于是有一条轴上导出的准则，被搬到了它没有被验证过的设定里。2609.05198 测的是「一条样本在教师固定时能教多少」。教师外生时这个量是样本的内禀属性，样本价值可加：选前 k 条得到的价值等于前 k 条价值之和，贪心 top-k 是自然的。教师一旦内生，样本价值就成了批次的函数——同一条样本能教多少，取决于同批次其他样本给外推方向提供了多少可验证的接地量。可加性在这里不成立，贪心 top-k 的最优性随之失效。

失效点恰好落在 2609.05198 明确推荐的那类样本上。GRPO 的组归一化优势按组内奖励的均值与标准差计算；一条组内全部 rollout 失败的提示，优势恒为零，对该轮位移没有贡献，也就不给外推方向提供任何接地。RISE 的自消融给出了这个方向的经验下界：去掉 RLVR 相位、让位移只由自蒸馏产生，训练在 60 步内崩溃，MATH-500 精度掉到 2.4%，回复长度从 2K 膨胀到 8K 上下文上限，训练奖励归零。原文的解释是没有结果奖励锚定时位移纯属自我指涉，每一轮都沿模型先前的动作放大。2609.05198 推荐的正是这类样本，它写的是 both the teacher and student models fail to produce correct answers still yield strong performance gains。

在教师外生的设定下这条结论成立——外部教师在这些样本上仍提供完整的逐 token 分布，学生蒸馏到的是教师的解题形态。搬到 RISE 上，同一批样本不给位移提供任何接地，却照样吸收蒸馏负载，因为 RISE 的教师 applies uniformly to every prompt, regardless of whether any rollout succeeded。

第二层不对齐在难度这个变量上。2609.05198 用难度换视野长度，并用长度受控实验把 token 熵与 CoT 长度分开。RISE 的 β 消融给出的是另一个依赖关系：安全 β 区间是「策略在训练分布上离最优有多远」的函数，随训练持续收缩——原文给出三个可核验的工作点：step 50 时 β = 2.0 反而涨 7.3 分，step 100 时同一个 β 变成灾难（−15 分），step 200 时连 β = 1.5 都要付出 7.7 分；只有在 β ≤ 1.2 的运行区间内，外推才是全程安全的（early 近乎中性，step 100–200 收 +2～4 分）。这也解释了为什么从 2.0 起的线性衰减来不及把 β 降回安全区。只选难题把这个距离系统性地推大，而在自然混合分布上调出的 β0 = 1.2 与衰减到 βN = 1 的标定条件不再成立。

第三层是规模。RISE 训练一个 epoch，学习率、batch size、rollout 长度与 GRPO 基线对齐。锚点更新率的消融显示最优值随模型翻转：Qwen3-1.7B 上 logit 空间从 η = 1.0 的 46.2 升到 η = 0.1 的 50.2，OLMo3-7B 上 η = 1.0 的 56.4 反而优于 η = 0.1 的 50.1，原文归因于 GRPO 每步方向本身的稳定程度。方向估计的方差是批内提示数的函数；把提示流压缩三个数量级（17K → 8），锚点平滑率就进入一个从未被扫过的区域。

核心思路

提出 GRADE（Grounding-Ratio-Aware Distillation data Engineering）。做法是把「一条提示给外推方向贡献了多少可验证接地」与「这条提示从教师那里吸收了多少监督」分开记账，用两者的比替代难度的单维排序。

第一个量是接地质量 ĝ(x)，指该提示在 RLVR 相位上给位移贡献的信息量，用组内奖励的标准差 std(R) 作代理：全对或全败时 ĝ = 0，组内正确率处在中间时最大。第二个量是蒸馏负载 d(x)，指该提示在 OPD 相位上吸收的逐 token 监督量，直接用响应长度 ℓ 作代理——RISE 复用同一批 rollout，ℓ 已知，取这两个量不需要额外采样。第三个量是接地比 ρ(x) = ĝ(x) / d(x)。

三个量的口径需要写死，否则实现时会漂移：

• ĝ 是边际量，不是属性量。 位移是 RLVR 相位在整个批次上做一次参数更新得到的，不是逐提示各算一份。所以”这条提示贡献了多少接地”应当理解为反事实边际量——把该提示从批次里去掉后，位移方向会变多少。全败提示的组内 advantage 恒为零，去掉它位移不变，故其边际接地为零。这个读法才是后面所有论证成立的那层含义；若按”位移逐提示计算”去理解，整条推论会落空。
• ĝ = 0 依赖奖励是二值的。 std(R) = 0 只在奖励取 0/1 时由”全败”推出。数学与代码的规则验证器满足这一点，但跨到部分完成度打分或连续奖励的任务族（多轮 agentic 常见）时，全败组的 std(R) 仍可能大于零，ĝ 就不再退化。此时 ε 阈值需要按该族的奖励分布重新标定，不能沿用数学上那套。
• d(x) 应记成 G × ℓ 而非 ℓ。 OPD 相位消耗的是组内全部 rollout 的 token 数。组大小 G 固定时 G×ℓ 与 ℓ 单调等价，排序不变；但 §技术路线 提到 rollout 长度与 GRPO 基线对齐、组大小可能随任务族调整，一旦 G 变化，只记 ℓ 会低估大批次提示的负载。账本里落 G×ℓ，排序时再按需退化到 ℓ。

选择规则从「只留难题」改成「留可解性带内的难题」：先按 ĝ > 0 的带（组内正确率落在 [ε_lo, ε_hi]）过滤，带内再按 ℓ 降序取 top-N。带内 ĝ 近似为常数，长度成为排序键，与 2609.05198 认定的因果变量一致；带本身保证接地不退化为零。

“带内 ĝ 近似为常数”是一个需要量化的近似。 在二值奖励下 ĝ = √(p(1−p))，若带取 [0.2, 0.8]，ĝ 在区间内从 0.40 升到 0.50 再回到 0.40——波动约 1.25 倍，并非严格常数。这对”长度成为排序键”的影响是：长度排序会被一个 1.25 倍的权重扰动。缓解办法有两条，实现时二选一并写明：把带收窄到 [0.35, 0.65]（ĝ 波动降到约 1.1 倍），或者干脆按 ρ = ĝ/(G×ℓ) 直接排序而不用两段式。两段式的价值在于可解释与可退化到基线，若带的解释力不是必需的，直接按 ρ 排序更干净。

与现有工作的区别有三条。其一，选择统计量从难度一维升到（视野长度，接地质量）二维，两个维度的正交性由 2609.05198 自己的长度受控实验保证。其二，步长跟着接地下游走：β 按当前批次平均 ĝ 缩放，ĝ → 0 时 β → 0，外推自动关断、只留 RLVR。RISE 的自消融是事后诊断，GRADE 把它变成运行时的安全阀。其三，退化点是结构性的：ε_lo = 0、ε_hi = 1 且关掉 β 缩放时，GRADE 严格等于 RISE 原协议；换成固定外部教师时，接地比恒为常数，GRADE 退化为 2609.05198 的 hard-only 选择。

需要一并写明的限定：hard-only 选择在 RISE 上未必变差。难题带来更大的位移幅度，位移幅度上升会提高每轮的方向信噪比，这与接地退化是两个相反方向。哪一边占优是经验问题，正是下面三臂对照要回答的。

技术路线

第一步，建双轴账本。每个（迭代，提示）落一条记录：组内正确率 p̂、组内奖励标准差 σ̂_R、响应长度 ℓ、是否全败 u、OPD 相位消耗的 token 数、当轮 β_n 与 η。RISE 已经复用 RLVR 与 OPD 的 rollout，账本的采样成本为零。账本本身就是可发表的产物——它第一次给出「全败提示占多少」与「它们吸收了多少 OPD token」这两个数。

第二步，定可解性带。ε_lo 与 ε_hi 取上一迭代 p̂ 分布的分位数，随训练自适应，避免手工阈值在不同任务族上失配。

第三步，带内按 ℓ 降序取 top-N，N 由 token 预算而非提示条数决定。2609.05198 的 8 条对 17K 是按提示条数计的，在 RISE 上这条口径会把长 CoT 的 token 量算漏；本提案一律按 token 预算匹配。

第四步，β 耦合：β_n = β̂ · clip(ḡ_n / ḡ_ref, 0, 1)，ḡ_n 是当轮批次的平均接地质量，ḡ_ref 取 A 臂首轮的平均接地质量，使 A、C 两臂的步长尺度可比。

第五步，三臂对照。A 臂为 RISE 原协议；B 臂为 RISE 加 hard-only 选择，沿用 2609.05198 的准则并保留 unsolvable 样本，β0、η 与衰减日程保持默认；C 臂为 RISE 加接地比感知选择与 β 耦合。配置沿用 RISE 的数学设置（Qwen3-8B、Qwen3-1.7B、Qwen3-1.7B-Base、OLMo3-7B），并向代码生成（Qwen3-8B-Base 配 Skywork-OR1-Code）与多轮 agentic（Qwen2.5-3B-Instruct 配 ALFWorld 与 WebShop）各扩一组。

四条关键技术挑战：

一，p̂ 的小样本噪声。小组（8–16 条 rollout）下 p̂ 方差大，边界附近的提示会被错杀或错留。缓解办法是跨迭代对 p̂ 做 EMA 平滑，并把带边界设成软权重而非硬截断。

二，长度与难度的共线。ℓ 是 2609.05198 认定的因果变量，按 ĝ 过滤会顺带改变 ℓ 的分布，两个效应缠在一起。需要一条长度匹配对照臂：把 B、C 两臂的 ℓ 分布匹配到一致，只让 ĝ 不同，否则 C 臂的增益无法归因。

三，接地质量的下限随任务族变。多轮 agentic 的奖励比数学更稀疏，组内正确率整体偏低，ε 需要按任务族分别标定；在极端稀疏的族上，ĝ 的分辨率低到无法支撑带过滤，此时 GRADE 应当显式放弃选样而不是硬套阈值。

四，分布迁移。只在中难度带训练会改变策略在易题与难题上的行为，评测必须分层报告，不能只报 Math Avg。

预期成果

定量目标三条。其一，在 token 预算匹配的前提下，C 臂在 Qwen3-8B 与 Qwen3-1.7B 的数学设置上不低于 A 臂，相对 B 臂不出现 RISE 自消融报告的崩溃特征——回复长度超过基线 2 倍，或训练奖励低于 5%。

A 臂的参照基线必须选对档位。 RISE 原文有两张口径不同的表，引用时容易混：

本提案此前把 +2.7 与 +4.8 标注为”计算匹配下的增益”，实际这两个数来自 Table 1 的 plain GRPO 对照；真正的计算匹配增益是 +2.2 与 +2.9。这个差别不是小数点级别的——Qwen3-1.7B 上 4.8 与 2.9 差了 1.9 个百分点，会直接影响 P3（C 臂与 B 臂无差异）能否被检出。另需注意两点：两个增益分别来自 weight 空间与 logit 空间（原文明确指出两个空间互不一致地占优），并列引用时不可当成同一配置；+4.8 属于 Qwen3-1.7B，其子节另有 Qwen3-1.7B-Base 的结果，两者不是同一个模型。

因此本节的目标改为：C 臂在同等 token 预算下不低于 A 臂，且以 GRPO-2× 而非 plain GRPO 作为计算匹配的外部参照。其二，账本给出两个此前没有公开过的测量：全败提示在 RISE 默认 prompt 流上的占比，以及它们吸收的 OPD token 份额。其三，给出接地比 ρ 与单提示蒸馏增益的相关系数，增益沿用 2609.05198 的口径，即同提示上学生与教师分布之间逐 token 反向 KL 的下降量（该文取 top-16 token 计算，实现时须与之对齐，换 K 值会改变增益的绝对值）。

三条可证伪预测。P1：把可解性带人为收窄到以 u = 1 提示为主的区域，回复长度与训练奖励沿 RISE 去 RLVR 臂的方向移动；若长度与奖励不变而精度继续上升，接地退化假设被证伪，收益另有来源。P2：ρ 与单提示增益若不相关或负相关，ρ 不是有效的选择统计量，GRADE 退化为纯长度选择。P3：在长度匹配对照下 C 臂与 B 臂若无差异，可解性带过滤是冗余的，难度单维排序已经足够。

P1 需要与 RISE 已有的自消融对表，否则会被误读成全新预测。 原文去 RLVR 臂是完全移除结果奖励（60 步内崩溃、MATH-500 掉到 2.4%、长度 2K→8K、训练奖励归零）；P1 是窄带版本——RLVR 相位仍在跑，只是批次里的提示几乎全为全败组，有效 RLVR 信号趋近于零。P1 与原文自消融方向一致、机理同源，但效应量应当更小。这条对表给出两个可执行的判据：若 P1 复现了与去 RLVR 臂同量级的崩溃，说明接地退化的作用比本假设的更强（全败提示不只是”不贡献”，可能还在主动放大位移）；若 P1 只产生温和退化，则效应量本身构成对”接地比”这一连续量的一阶标定，可用来反推 ĝ 与位移信噪比之间的关系。两种情况都要写进结果，不能只报”显著/不显著”。

影响落在两处。方法上，它把 OPD 数据选择的适用边界从「教师外生」标到「教师内生」，并给出教师内生时选择准则必须重新标定的证据与一把可直接落地的尺。应用上，多轮 agentic 是收益最大的场景——它的奖励最稀疏、接地比最低，也正是 hard-only 选择最容易踩空的地方。

相关工作

1. RISE: Recursive Improvement via Self-Extrapolating Policy Distillation（arXiv:2609.05295）。本提案的对象。从自身 RLVR 轨迹外推构造逐 token 教师，覆盖数学、多域 STEM、代码生成与多轮 agentic 四类任务；自消融显示去掉 RLVR 接地后 60 步内崩溃（MATH-500 掉到 2.4%、长度 2K→8K、训练奖励归零），β0 = 2.0 在策略接近最优后发散。它没有做数据选择维度的工作。

2. What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection（arXiv:2609.05198）。本提案的对照基准。证明 1-shot OPD 有效、收益来自长 CoT 而非 token 熵、8 条精选难题追平 17K 全量蒸馏，并指出连 unsolvable 样本也可用。其教师为固定外部检查点，训练环内无结果奖励，故选择准则在教师外生假设下导出。

3. Trace2Tower: Transition-Aware EigenTrace Induction of Multi-Level Skills for LLM Agents（arXiv:2609.05261）。在技能归纳侧做了同一件事的另一半：把逐步交互抽象成规范事件，构建由语义兼容性、转移动力学与结果证据共同约束的统一图，再用对比谱分解分离出与成功对齐的行为模式、抑制失败捷径，填进动作模板—程序例程—任务策略三层技能塔，ALFWorld 上达 87.31% 成功率、10.35 步、0.26 个无效动作。它把结果证据用在结构归纳上，没有用在训练提示的选择上。

4. CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents（arXiv:2609.05374）。数据生产侧的对应物：App-Forge 把真实桌面软件适配成可复现 VM 与命令行界面（16 个应用），Task-Weave 从可复用操作合成混合任务，Path-Steer 把 rollout 引导到高效混合路径并采集已验证轨迹用于后训练，9B 模型在 CUA-Verse 上 +39.3 分、步数 −37%、token −60%。它的 steer 目标函数是路径效率而非接地信息量；把该目标换成接地比是本提案的自然延伸。

5. Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models（arXiv:2609.05401）。测的是接地信号自身的稳定性：在 2,390 条真实机器人轨迹与 21,673 条经核验的同义改写上，只改写指令就能让预测进度大幅变化，甚至把同一段行为在失败与成功之间翻转，且不随规模或显式推理稳定下降。GRADE 的 ĝ 建立在验证器输出之上，验证器若在同义改写下不稳定，测量噪声会直接进到选择里；本提案在数学与代码任务上用确定性验证器绕开这一项，跨到开放式奖励的任务族时必须先补这项稳定性检验。

局限性与失效模式

一，接地退化与位移幅度是两个相反方向，本提案无法事先判定谁占优。 难题一边压下组内接地（ĝ 变小），一边抬升单步位移幅度（方向信噪比上升）。全败提示把 ĝ 压到零，位移幅度未必同步下降——位移幅度取决于批次里其他提示的 RLVR 信号。若后者占优，B 臂会优于 A 臂，GRADE 的核心动机即被削弱。三臂对照的设计已经能区分这两种结局，但结论只能在实验后给出，本提案在这一点上是开放的。

二，可解性带会随训练自行漂移，可能自我强化。 ε_lo 与 ε_hi 取上一迭代 p̂ 分布的分位数。模型变强后 p̂ 整体上移，带的绝对难度随之上升，而带的相对位置不变。这在数学上问题不大，但在难度分布长尾的任务族上，带可能逐年滑向原本的 unsolvable 区域，形成一个缓慢的 degeneration 通道。需要一条监控：每 N 轮记录带内提示的绝对通过率，观察它是否单调上移。

三，只在中难度带训练会改变策略在分布两端的行为。 §技术路线 第四条已提出分层评测，但分层还不够——真正需要的是易题与难题上的退化检测，而不是平均分的分解。若 C 臂在易题上出现”想太多”（长度膨胀）或在难题上出现提前放弃，Math Avg 可能仍然好看。建议额外报一条按 p̂ 分层的长度曲线。

四，β 耦合引入了一条新的反馈回路，其稳定性未被分析。 β_n = β̂ · clip(ḡ_n / ḡ_ref, 0, 1) 让步长依赖当前批次的选择结果，而选择结果又依赖模型状态，构成闭环。ḡ 下降会压低 β，压低 β 会减缓外推，进而影响下一轮的 p̂ 分布——这条回路是否收敛、会不会锁死在 β → 0（退化为纯 RLVR），本提案只给了”ĝ → 0 时 β → 0”的关断语义，没有给出稳定性论证。实现时应先做一个不接 GRADE 的 β 耦合独立臂，确认回路本身不发散，再并入 C 臂。

五，样本量与统计功效。 RISE 报告的是单种子结果（Table 1）配合多种子复核（§C.10）。若 C 臂与 B 臂的真实差异在 1–2 个百分点量级（参照前面计算匹配档位下 +2.2 / +2.9 的量级），单种子完全不足以区分。三臂对照在四个模型配置上都跑三种子的话，成本不低；建议至少在 Qwen3-1.7B 上做三种子，其余配置单种子并明确标注为探索性结果。

六，跨任务族的外推未经验证。 本提案的论证链条（组内 advantage 为零 → 无接地 → 却仍吸收蒸馏负载）在数学与代码这类二值验证器上最直接。多轮 agentic 的奖励稀疏且常为部分完成度，ĝ 的分辨率下降，带的过滤能力随之减弱；代码臂上 RISE 用 K = 20（输出分布更尖锐），top-K 教师的构造也不同。这两处差异会不会改变结论，本提案没有给出预判，只能靠第五步的扩展实验回答。