精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

1 论文概览

一句话总结：PSP（Privileged Self-Practice）把「特权信息」从损失函数搬到采样器——当一组 rollout 的成功率低于阈值时，让一个分析器模型写几条该任务专属的规则塞进上下文重采样，再用原封不动的 GRPO 训练这批带提示的轨迹；作者用它证明，把特权视角当蒸馏目标的那条路（OPSD）在多轮 agent 上会把学生训到低于未训练基座。

核心问题：多轮 agent 的奖励稀薄到「几十轮交互只换回一个 0/1」。给每个 token 都发一份监督的自蒸馏看上去是解药：教师是同一个模型加上参考解或事后复盘，不花钱、信号密、还是 on-policy 的。作者要问的是另一件事——

How should privileged information be used to train an agent that will not have it at inference? —— PSP, Section 1

主要贡献

1. 给出了 OPSD 在多轮 agent 上的失效证据，而不是在推理题上的。Qwen3-4B / Qwen3-8B / Gemma4-E4B 三个学生上，纯 OPSD 的 AppWorld 平均分 3.4 / 5.3 / 0.6，全部低于未训练基座的 4.4 / 12.3 / 13.0；Gemma4-E4B 上 test-normal TGC 从 14.6 掉到 0.7。训练动态的签名是 actor 熵在 12 步内从 0.009 涨到 1.27（141 倍），批次奖励随后归零。
2. 把特权视角的用法分成三类并逐类实测：当目标（蒸馏损失）、当权重（重标定 advantage）、当采样器（本文）。七个基线覆盖了前两类，只有本文走第三类。
3. 一套带门控的 rollout 重采样机制。门控只在学生自己跑不出成功样本时触发，触发后指令留在上下文里参与训练，损失里不存在任何跨视角比较项。
4. 迁移机制的可测量化：定义逐轮依赖 $d_t=\log\pi_\theta(a_t\mid s_t,\sigma)-\log\pi_\theta(a_t\mid s_t)$，实测 78% 的成功引导轨迹只有 1 个「决定性轮」，没有一条超过 3 个；并用 Proposition 1 的一阶迁移比 $\langle G_0,G_\sigma\rangle/\|G_\sigma\|^2$ 直接量出「这次更新有多少落到了无特权视角上」。

2 方法详解

架构与方法概述

多轮 agent 的轨迹写成 $\tau=(a_1,o_1,\ldots,a_T,o_T)$，观测 token 由环境产出、不进损失。特权信息 $\sigma$ 拼在上下文前面得到特权视角 $\pi^+(\cdot\mid x,y_{<k})=\pi_\theta(\cdot\mid\sigma\oplus x,y_{<k})$。OPSD 的损失是逐 token 的 KL：

$\mathcal{L}_{\text{OPSD}}(\theta)=\mathbb{E}_{\tau\sim\pi_\theta(\cdot\mid x)}\Big[\frac{1}{|\tau|}\sum_{k=1}^{|\tau|}D_{\mathrm{KL}}\big(\pi^+(\cdot\mid x,y_{<k})\,\|\,\pi_\theta(\cdot\mid x,y_{<k})\big)\Big]$

PSP 不碰这个式子。它的做法分两步：分析器写指令，门控决定什么时候用。分析器 $W$（Qwen3.6-27B，全程冻结）读任务、该学生当前这组 rollout $\mathcal{F}_x$、以及一条参考轨迹 $r_x$，输出

$\sigma_x=W(x,\ \mathcal{F}_x,\ r_x)$

其中 $r_x$ 来自训练前的一次性采集：27B 分析器以学生的prompt、工具接口和采样设置，在 90 个 AppWorld 训练任务上各采 16 条轨迹（81/90 至少有一条成功），在 293 个 SkyRL-v0 任务上同样处理（258/293 有成功）。每次调用从该任务的成功轨迹池里随机抽一条。$\sigma_x$ 是 3–6 条祈使句规则，包在 <skills> 标签里作为系统消息，出现在引导 rollout 的每一轮上下文里，评测时一律撤掉。

门控只看二值奖励的经验成功率 $\hat p_x$：

$g(x)=\mathbf 1[\hat p_x<\gamma]$

触发时，分析器写 $\sigma_x$，整组重新采样，原组丢弃；不触发就走普通 GRPO。目标函数是

$J(\theta)=\mathbb{E}_x\Big[(1-g(x))\,L_x(\{\tau_i\})+g(x)\,L_{\sigma_x\oplus x}(\{\tau^+_j\})\Big]$

其中 $L_c$ 是式（3）的 GRPO 损失作用在上下文 $c$ 下采的那组上，advantage 在组内算。

关键创新点

损失里没有任何跨视角的项。这是全文唯一的结构性主张，也是它与 RLSD、OPID 这些「把特权视角当权重」的方法的分界线：

The privileged information stays in the prompt and never enters the loss. —— PSP, Abstract

特权信息只在没有信号的地方花。Remark 1 指出 $\hat p_x=0$ 时每个 $R_i$ 都等于 $\bar R$，advantage 恒为 0，这组对梯度零贡献；$\hat p_x$ 略大于 0 时梯度全压在一两条碰巧成功的轨迹上，信噪比最低。门控的动机就来自这里。

指令只决定少数几轮，奖励却强化全部轮次。$\nabla_\theta\log\pi_\theta(\tau\mid\sigma\oplus x)=\sum_t\nabla_\theta\log\pi_\theta(a_t\mid s_t,\sigma)$ 对每个 turn 等权，而 $d_t\approx 0$ 的那些 turn 恰恰是学生自己也能写出来的。附录 D.5 实测：迁移比中位数 0.24，把和式按 turn 拆开后，「$\sigma$ 没决定的轮」贡献中位数 $+0.32$，「决定性轮」贡献 $-0.05$。

门控自带退火，没有排程。Fig. 8 显示 Qwen3-4B（$\gamma=0.1$）上被门控的组占比从 0.86 降到 0.42，学生的无引导训练通过率从 0.06 升到 0.50；留在门控集里的任务，引导 rollout 全程有 14%–35% 的成功率。

与基线方法的区别

七个基线按特权视角的消费方式排成三族，全部拿到与 PSP 完全相同的 $\sigma$、同一个分析器、同一个参考池：

消费方式	方法	系数/超参（照各自原论文）
当目标	OPSD、GRPO+OPSD、Skill-SD、SDAR	纯 KL / 0.01 / 0.1 / 0.1
当权重	RLSD、OPID	$\lambda=0.5$，clip 0.2 / $w=0.001$
当采样器	PSP	门控阈值 $\gamma$

差别的量级很极端：同样是 4B，RLSD 的 12.1 高于 GRPO 的 10.6，OPSD 的 3.4 低于未训练基座的 4.4。作者给的解释是「掉多少取决于损失里蒸馏项占多大权重」。

3 实验结果

主要指标

AppWorld（Qwen3-4B，八个指标的非加权平均）：Base 4.4、GRPO 10.6、OPSD 3.4、GRPO+OPSD 6.0、Skill-SD 5.2、RLSD 12.1、SDAR 3.7、OPID 9.2、PSP 16.7。Qwen3-8B 上 GRPO 25.6、RLSD 23.8、OPID 20.2、PSP 27.4。Gemma4-E4B 上 GRPO 27.2、RLSD 19.8、PSP 32.5。

SWE-bench Verified（mini-swe-agent 脚手架，500 题）：Qwen3-4B 上 GRPO 3.68 / PSP 5.92 / RLSD 6.20；Qwen3-8B 上 GRPO 7.08 / PSP 8.36 / RLSD 7.12。

与 SOTA 的对比

摘要的两个数字「AppWorld 上 task-goal completion 最多提升 65%」「SWE-bench Verified 上 resolved rate 最多提升 61%」都是相对值，不是百分点。65% 对应 4B 的 test-normal TGC 从 13.2 到 21.8，绝对差 8.6pp；61% 对应 4B 的 resolved rate 从 3.68 到 5.92，绝对差 2.24pp。两处都取在三个学生里绝对分最低的那个上——分母最小，同样的绝对位移读出来最大。同一张表里的 test-challenge TGC 4B 是 9.4 对 4.6（+104%），比 headline 更大，「up to」这个词在这里反而是保守的。

把 500 题的二项误差算进去，SWE-bench 那两列都站不住：

比较	差值	500 题二项 SE	z
4B：PSP 5.92 vs GRPO 3.68	2.24pp	1.35pp	1.66
8B：PSP 8.36 vs GRPO 7.08	1.28pp	1.69pp	0.76

AppWorld 侧按题数算（test-normal 168、test-challenge 417）：4B 的 test-normal 差 8.6pp，SE 4.12pp，z=2.09；test-challenge 差 4.8pp，SE 1.76pp，z=2.73；8B 的 test-normal 差 0.8pp，SE 5.05pp，z=0.16。三个学生里只有 4B 这批数字越过了常规门槛，8B 上与 GRPO 不可分辨——8B 的 test-normal SGC 反而是 PSP 12.1 低于 GRPO 13.9。

RLSD 在五个 setting（三个学生 × AppWorld、两个学生 × SWE-bench）里有三个跑赢 GRPO，4B 的 SWE-bench 上 RLSD 6.20 还在 PSP 5.92 之上。「唯一稳定超过 GRPO 的方法」这句话按逐个 setting 成立，按强弱排序则不那么干净：排第二的基线已经赢了五分之三。

消融实验关键发现

门控阈值。表 7 是全文信息量最大的一张表：

学生	$\gamma=0.1$	$\gamma=0.3$	$\gamma=0.5$	always	GRPO	验证集选中
Qwen3-4B	16.7	19.9	23.7	14.6	10.6	0.1
Qwen3-8B	27.4	21.9	26.0	20.1	25.6	0.1
Gemma4-E4B	29.5	32.5	30.2	32.9	27.2	0.3

4B 上报出来的 16.7 是三个 $\gamma$ 里最差的，验证集（57 个任务）把最好的那一档筛掉了，两者差 7.0 分；8B 上 $\gamma=0.3$ 的 21.9 低于 GRPO 的 25.6，也就是说存在一个 $\gamma$ 让 PSP 输给 GRPO 3.7 分。「稳定超过 GRPO」这个说法是 $\gamma$ 的函数。always（去掉门控、每个任务都加引导、rollout 翻倍）在 4B 上 14.6、8B 上 20.1，都比 PSP 差，8B 上还低于 GRPO。

参考轨迹。表 5 撤掉 $r_x$，其他不动：4B 从 16.7 掉到 10.5，8B 从 27.4 掉到 25.5。把这两个数字和主表里 GRPO 的 10.6、25.6 摆在一起，差分别是 0.1 和 0.1。去掉 27B 的成功轨迹之后，PSP 与 GRPO 在两条基座上分别重合到 0.1 分以内。

与 SFT 的对照。表 8、表 9（4B，分析器换成学生自己以控制 27B 预算）：SFT 在同样 90 条 27B 轨迹上微调得 14.8；SFT 之后接 GRPO 得 17.7；从基座直接跑 PSP（27B 分析器）得 16.7。同一批轨迹，先模仿再 RL 比用分析器读着练高 1.0 分，而后者在训练中还要调一万次左右 27B。

4 个人分析

亮点

失效机制给得比结论更值钱。作者没有停在「OPSD 掉分」，而是把掉分拆成「学生学到的形式、学不到的内容」两半：

What the student can recover is the part of the target that does not vary with $\sigma$: the scaffolding of privileged competence, e.g., open confidently and act decisively. —— PSP, Section 3

多轮 agent 里这句话有额外重量——思维链里引用一句没见过的参考解，代价只是一句废话；agent 里每一次断言都是一次对环境的真实写入，会被折进下一个状态。DAgger 那类复合误差在这里以「自信地调用错误的 API」的形态出现。

$d_t$ 这个量的设计也很干净。它把一个定性的说法（「提示只影响几步」）变成可测的曲线，而且立刻导出一个可证伪的边界条件：

In the extreme case when $\sigma$ decides every turn, the two scores are poorly aligned and little of the update transfers. —— PSP, Section 4.3

附录 D.5 顺着这个边界量出了代价：迁移比为正的 rollout 只占 71%，中位数 0.24，四分位区间 $-0.23$ 到 $0.55$。也就是说每四条被强化的引导轨迹里有一条在把无特权视角往反方向推，而被强化成功的那部分里，约四分之三的一阶效应到不了无特权视角。作者把这个数字当成支持证据，它也是方法的效率上限。

局限性

消融把收益的来源钉死了。表 5 那条 0.1 / 0.1 的重合值得单独说：摘要把方法讲成「换一个投放位置」，消融显示投放的东西才是关键——一个 27B 模型先在 81/90 个 AppWorld 训练任务上跑出成功解（90 个任务各 16 条、共 1440 条里挑出的成功池），分析器读着它写成 3–6 条规则。撤掉这一项，方法退化成 GRPO。这不推翻论文的因果主张，但把「教师是免费的」那句对 OPSD 的吸引力描述挪了个位置：教师还在，只是从损失里搬进了 prompt。

门控的动机与最好的那一档不自洽。Remark 1 论证的是「$\hat p_x=0$ 的组零贡献」，这个论证只在 $\gamma\to0$ 时精确成立。$\gamma=0.3$ 时（≤2 次成功）被丢弃的组本来就带着梯度。而 $n=8$ 的门控本身是个极粗的检验：真实通过率 $p=0.15$ 的任务被门控的概率只有 $(1-0.15)^8=0.27$，也就是说它有 73% 的轮次不触发；不触发的条件下期望成功数是 $8\times0.15/0.7275=1.65$——恰好是 Remark 1 说的「梯度压在一两条轨迹上」那一档。4B 上实测最好的 $\gamma=0.5$ 也是唯一能把这类组捞回来的档位。写下来的机制和跑出最好数字的档位不是同一个。

方差与选择的账没算。附录 C.2 明写：

Every number in the tables comes from one training run per method and model. —— PSP, Appendix C.2

表里所有 $\pm$ 都是 5 个评测 seed 的标准差，不含训练 seed、不含题数采样误差。checkpoint 每 5 步存一次、在验证集上用 5 个 seed 选最优，AppWorld 验证集 57 个任务，SWE-bench 验证集 23 个实例——23 个实例上选 100 个 checkpoint，在 resolved rate 约 5% 的水平上相当于靠 1 个实例做决定。SWE-bench 那一列恰好供出了「61%」这个 headline。

训练预算在篇内不一致。§5.1 写「每个方法训练 500 步」，表 6 的 SWE-bench 列写的是 70–140 步（two-day budget）。4B 与 8B 的 SWE-bench 结果各自跑了多少步并未分别给出，而这一列的数字承载着摘要的一半。

基线系数照抄原论文，没有扫描。OPSD 纯损失、GRPO+OPSD 0.01、SDAR 0.1、Skill-SD 0.1 四档权重各不相同，「掉分随蒸馏项权重放大」这个结论于是混进了系数差异。RLSD 的 $\lambda=0.5$、OPID 的 $w=0.001$ 同理。

成本。8 张 H200，AppWorld 上 4 张训学生、4 张专门服务分析器；500 步 × 32 任务 = 16000 组，按门控占比 0.86→0.42 均值约 0.64 估计约一万次分析器调用，外加每次触发重采 8 条 rollout，总 rollout 量比 GRPO 多约 64%。表 7 的 always 把这层说得更明白：把预算翻倍反而更差，说明这个方法的瓶颈不在投多少提示，而在投给谁。

适用范围。二值奖励、非思考模式、两个基准、4B–8B 三款模型、分析器固定为 Qwen3.6-27B 且不做更强或更弱的扫描（作者自陈），指令不做任何后过滤。

对大模型领域的影响

需要先划一条界限，否则结论会被读歪。§2.3 自己区分了信息对称的 OPD（教师只是更强的模型，师生看同样的输入）与信息非对称的 OPSD（教师多看一份 $\sigma$）。本专栏此前讨论过的几篇——One-Shot OPD 的状态覆盖、OPD-then-RL 的顺序、IER 的梯度可估性——全部属于前者。本文的失效证据只对后者成立，它没有推翻「用更强的教师在同一份输入上做 on-policy 蒸馏」这条主线；推翻的是「给教师加一份学生看不到的上下文再让它当目标」。

更大的那个结论在别处：同一份特权信息，进损失就崩，进采样器就涨，中间只隔着一个「要不要拿它当目标」的开关。这跟本专栏前面几期对信用分配的判断是同构的——PACT 给 token 级信用钉了唯一解，BPO 主张中间状态的价值不必估，本文主张特权内容不必被模仿。三者的共同点是不再问「怎么把信号做得更密」，而是问「这份信号该以什么身份参与更新」。蒸馏派近年把「信号密、教师免费、样本 on-policy」当三个独立优点，本文指出这三件事共用一个前提：教师知道的东西学生也知道。

5 实践启示

可以借鉴的技术

1. 把提示写成 rollout 上下文，别写成损失。这条可以直接套到任何「有参考解、有复盘、有更强模型」的 RL 场景：让强模型写规则，弱模型带着规则自己采样，奖励照旧。判断标准是损失里有没有跨视角的比较项，有就退回了 OPSD。
2. 先验算一遍「撤掉强模型输入」的消融。表 5 是本文最有价值的一张表，因为它是唯一一个能分出「方法的贡献」和「强模型的贡献」的对照。任何引入外部模型的训练方案都该配这一臂，而且要用「去掉之后 vs 无外部模型的基线」这个口径看，不是看掉了多少分。
3. 熵与批次奖励当崩溃探针。OPSD 在 12 步内熵从 0.009 涨到 1.27，GRPO 全程稳在 0.004–0.009；这个信号比任务指标早几十步出现，成本低到可以常开。
4. $d_t$ 分解当提示质量的诊断量。若某批任务的 $\sigma$ 开始决定大部分 turn，迁移就该掉；按 Fig. 3b 的口径（成功引导轨迹里决定性 turn 的条数）做一个在线直方图，比看最终分数更早知道提示写坏了。
5. 门控 telemetry 当训练进度条。被门控组占比 0.86→0.42 这条曲线不花额外算力，直接反映「还有多少任务学生自己搞不定」。
6. 先把轨迹拿来 SFT，再 RL。表 9 里 SFT+GRPO 17.7 高于从基座跑 PSP 的 16.7，成本却低一个量级；PSP 在 SFT 之后只剩 +1.4（19.1 vs 17.7），因为门控几乎不再触发（第一步 32 组里只有 11 组被门控，基座起跑时是 28 组）。

潜在应用场景

• 工具调用型 agent 的冷启动：AppWorld 这类 API 密集、错误会写进状态的环境是本文的直接命中区，尤其当手上有一批能跑通的参考轨迹时。
• 有执行反馈的仓库级任务：SWE-bench 侧给出了 +2.24pp（4B）与 +1.28pp（8B），但要按「未过显著性门槛」来用，别照相对值 61% 排期。
• 不适合的场景：单轮推理题（误差不会跨轮复合，OPSD 的失效形态未必出现）、拿不到成功参考轨迹的领域（表 5 的退化档）、以及承担不起在线 27B 的团队——分析器占了本文一半的 GPU。

参考文献

Su, X., Kumar, A., Ping, Q., Luo, Y., Buck, J., Zhang, Z., Chidambaram, S., & Arannil, V. (2026). From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents. arXiv:2609.29051 [cs.AI]. Texas A&M University 与 AWS AI, Amazon. 8 位作者，2026-09-24 提交。

相关精读

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 本篇把本专栏连续四十三期的主线往回拧了一格：前面每一期都在改训练信号本身——挑哪些 token、哪些轨迹、哪套信用分配口径——这一期问的是同一份监督该以什么身份参与更新，进损失就崩、进采样器就涨。以下按专栏顺序回溯，最近一期是 PoEM。

• 本专栏此前讨论的 OPD 三篇（One-Shot OPD、OPD-then-RL、IER）都是信息对称设定：教师更强、输入相同，不在本文的失效范围内。

• 与本文最近的两期是 OC-GRPO（用离上下文重要性校正，让带特权上下文采到的轨迹也能用于难题）和 Rethinking OPSD（特权自蒸馏在思考模型上的失败）：前者与本文同属「特权信息不进损失」，后者只报告了失败、没给采样器侧的解法。

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它

• 精读：Compile by Training —— 把提示词编译成本地权重

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态

• 精读：OPD-then-RL —— 两阶段为什么打过单步融合

• 精读：Co-Evolving Harnesses and Models —— 同一份专家轨迹，换个脚手架符号就反过来

• 精读：NSD 负向自蒸馏 —— 不靠近看过答案的自己，只远离粗心的自己

• 精读：E-SFT —— 把推理轨迹的中间段删掉再练

• 精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

• 精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

• 精读：把「做不出来」的题变成训练信号

• 精读：NGU 与 RL 里的马太效应

• 精读：SP³O 与 PPO critic 的价值压平

• 精读：Don’t Mask the Environment 与被 mask 掉的环境观察

• 精读：把训练-推理失配里的漂移项减掉

• 精读：把公开代码库里已实现的功能翻成 RL 环境

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把中间状态的价值估计整体消掉

• 精读：把后训练配方本身当成果——八阶段流水线里哪些收益经得起对账

• 精读：不跑 RL，先用已有策略把新奖励的结果预测出来

• 精读：OC-GRPO——用特权信息突破 RLVR 学习悬崖

• 精读：特权自蒸馏如何摧毁思考模型的长链推理

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到前缀

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：RTI——把干预从优化期搬到采样期

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：Thinking Leakage——no-think 的 RL 增益有多少是从 think 漏过来的

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：MRTPO——把每个奖励的优势拆回到它自己读的那几个 token 上