论文精读

精读：RTI——把干预从优化期搬到采样期

RTI 在整组 rollout 全败时启动一条 Validator–Corrector–Verifier 自我干预流水线，拿着评测 rubric 把失败轨迹的决定性一步改对，再用困惑度门控筛掉偏移过大的改笔、只对引发推理转向的 token 加权；Qwen3-8B 上五个基准相对 GRPO 提升 6.14–27.50 分。本专栏逐项对账发现：8B 上 15 格全胜五个 RL 基线，9B 上 τ²-Telecom 三格与 OPD/LUFFY/AEPO 并列 96.49、另有 8 格低于 Claude-4.6-Sonnet；最大那笔增益落在 Claw-Eval-Hard20，而它的测试任务族就是训练数据的来源，唯一的真 OOD（179 题）只有 +6.36（z 1.7–3.4）；PPL 门控的动机句说重要性比会超出裁剪范围，可第一步更新时 ρ 恒为 1，门控实际控的是绝对似然，Navigation 要吐精确坐标与 POI 专名，恰是低概率字面内容最密的地方；δ=5 只在 Navigation/8B 上调过却被五个基准两个骨干复用，强教师臂也用同一个 δ；定理的累计信任域假设干预带来的参数位移与 K 无关，与「干预持续把策略推出边界」相互拉扯。

论文： Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

作者： Xi Chen, Ruixue Ding, Zhigaoyuan Wang, Fanrui Zhang, Qiang Zhang, Boli Chen, Shihang Wang, Tianfu Wang, Ailin Ren, Pengyong Wang, Pengjun Xie, Hui Xiong

arXiv： 2610.13438

2026年10月14日 Agent RL GRPO rollout 干预 off-policy 探索瓶颈多轮工具调用后训练困惑度门控

1 论文概览

一句话总结：把「改轨迹」这件事从优化期搬到采样期——整组全败时才启动一条由 Validator–Corrector–Verifier 三个角色组成的自我干预流水线，拿着评测 rubric 这类奖励侧证据把失败轨迹里那个决定性步骤改对，再用困惑度门控筛掉偏移过大的改笔，末了只对「改笔引发推理转向」的那几个 token 加权。

核心问题：on-policy RL 只能放大策略已经会做的事。任务一旦超出能力边界，成功轨迹稀疏到训练直接坍塌。已有的两条救场路线——LUFFY 把整组失败换成教师轨迹、OPD 给 token 级信用——都把上限锁死在教师模型的能力上。

主要贡献

提出采样期干预（RTI）：干预者就是策略自己，三个 MAS 角色默认全部用同一个 policy 模型实例化，不需要更强的教师。
Validator 的判据设计成 reward-oriented 而非 process-prescriptive：只挑「会带偏整条轨迹」的错误。原文：

“it does not penalize suboptimal but recoverable decisions, alternative valid action orders, or stylistic differences”

—— §4.1 Reward-Oriented Trajectory Validator

困惑度门控：把干预专用信息剥掉，在原始可观测历史下用 rollout policy 重打分，只保留 $\mathrm{PPL}_{\mathrm{roll}}(\tilde{u}_k)\le\delta$ 的改笔。
推理转向感知的 token 重加权：用 $\pi^{\mathrm{cal}}$ 与 $\pi^{\mathrm{roll}}$ 的逐 token 似然比给改笔定位，双侧裁剪到 $[1-\epsilon_{\mathrm{cal}},1+\epsilon_{\mathrm{cal}}]$ ，stop-gradient，只在干预 token 上生效；未被干预的组里 RTI 精确退化为 GRPO。
给了一条 $O(1/\sqrt{K})$ 的驻点收敛界，并在五个基准、两个骨干（Qwen3-8B / Qwen3.5-9B）上跑通。

2 方法详解

流水线总览。对每个 query 采样 $G=8$ 条轨迹。触发条件写得很窄：

“only when the entire group fails (i.e., all $G$ trajectories generated by $\pi_{\theta}$ receive zero reward), we invoke the intervention pipeline”

—— §4.1 Reward-Aware MAS-Based Intervention

随后按步推进：Validator 判断当前步 $\hat u_k$ 是否还落在能通向 gold 的路径上；判定有害偏离后，Corrector 改写为 $\tilde u_k$ ；Verifier 三查——与 gold 要求一致、不泄漏特权信息、仍是原策略行为的合理延续；通过后再算 PPL 门控。

关键创新点有三层。

第一层是干预的粒度。过去的 off-policy 注入（LUFFY）换的是整条轨迹，前缀和风格一并变成教师的；RTI 换的是一步，前缀仍是策略自己生成的，Corrector 被要求「imitate the original reasoning pattern」。这让 off-policy 的程度从「整条序列」压到「单个响应片段」。

第二层是门控的口径。门控不看教师与学生的距离，只看改完之后这段文本在当前策略下的困惑度。这是一个纯粹的「可学性」过滤器，与教师是谁无关。

第三层是重加权的定位方式。 $\rho^t=\exp(\log\pi^{\mathrm{cal}}(\tilde u_k^t)-\log\pi^{\mathrm{roll}}(\tilde u_k^t))$ 衡量的是「这个 token 有多特征于修正后的推理路径」，而不是「这个 token 有多不像我」。附录 D.5 的可视化里权重最重的三处是一枚转折标记、一句角色边界的显式确认、一个被重定向的动作目标——恰好是决定性编辑的位置。

与基线的区别。GRPO/GSPO/AEPO 只在优化期动手，采样期完全交给策略自己。OPD 让教师给 token 级信用，轨迹仍是学生的，上限取决于教师分布里有多少可迁移的东西。LUFFY 是整组失败后换教师轨迹进来，用重要性采样处理分布偏移。RTI 与 LUFFY 的触发条件一样（整组全败），改的对象不一样：LUFFY 换整条，RTI 改一步；LUFFY 需要更强的教师，RTI 不需要。

3 实验结果

主要指标。五个基准各报 $p@1$ 、 $\mathrm{avg}\ p@k$ 、 $\mathrm{avg}\ pk$ （ $k=1..4$ ），路基为 Qwen3-8B 与 Qwen3.5-9B。

基准（Qwen3-8B， $p@1$ ）	Base	GRPO	最强 RL 基线	RTI	RTI − GRPO	RTI − 最强 RL
Navigation（自建，150 题）	22.67	35.33	OPD 37.33	57.33	+22.00	+20.00
$\tau^2$ -Telecom（114 题）	36.84	36.84	OPD 55.26	61.40	+24.56	+6.14
$\tau^2$ -Retail（114 题）	45.61	67.54	LUFFY 71.93	73.68	+6.14	+1.75
$\tau^2$ -Airline（50 题）	31.00	46.50	AEPO 51.00	56.00	+9.50	+5.00
Claw-Eval-Hard20（自建子集，20 题）	18.75	22.50	LUFFY 30.00	50.00	+27.50	+20.00

与 SOTA 的对比。我把两张主表 30 个格子逐格对了一遍。8B 上 RTI 严格超过五个 RL 基线的全部 15 格，这句概括成立。9B 上不再是全称： $\tau^2$ -Telecom 的 $p@1$ / $\mathrm{avg}\ p@k$ / $\mathrm{avg}\ pk$ 三格与 AEPO、OPD、LUFFY 三方并列 96.49，另有 8 格低于 Claude-4.6-Sonnet，其中 $\tau^2$ -Retail 三格全输（88.60 对 91.23）。9B 上四个非 Claw 基准相对 GRPO 的增益是 +3.34 / +0.88 / +4.39 / +7.00，唯一的大幅增益落在 Claw-Eval-Hard20 的 +32.50。

消融实验关键发现（只在 Navigation 与 $\tau^2$ -Telecom、只用 8B）：

去掉 Verifier（Post-Check）：Navigation 掉到 26.00，比 GRPO 的 35.33 还低 9.33 分。干预不作完整性校验比不干预更糟。
去掉 PPL 门控：Telecom $p@1$ 从 61.40 掉到 54.39， $\mathrm{pass}2$ 从 46.49 掉到 27.19。
去掉 token 重加权：论文称 16 个指标全部不劣于。我逐格核过，16 格确无一处反超，Nav 的 $\mathrm{pass}3$ 一处并列 42.00。

把 $\mathrm{avg}\ pk / p@1$ 这个比值算出来，能看出三块组件各自吃掉的是什么：GRPO 0.821、RTI 0.814、去重加权 0.795、去 PPL 门控 0.703、去 Verifier 0.545。门控与完整性校验掉的主要是「一致性」，不是「能不能做对一次」。

OOD 校验。附录 D.6 是全篇唯一真正的分布外测试：

“Rest-OOD consists of the 179 tasks whose families never contribute to the training-data synthesis”

—— Appendix D.6

179 题上 RTI 相对 GRPO 是 $p@1$ +6.36、 $\mathrm{avg}\ pk$ +8.61；相对 Base 是 +8.58 / +10.86。按 179 个任务为单位 $z\approx1.7$ ，按四次评估的 716 次采样为单位 $z\approx3.4$ 。

4 个人分析

亮点

诊断是对的。图 1 指认的两个失败模式——把用户侧工具当成自己能调的工具、把噪声 POI 结果当真——都属于「知识和工具都在，一个早期决策错了」。改一步就够，这条观察支撑了整个方法的粒度选择。
不需要更强教师这件事被反证加强：用 Qwen3.5-397B-A17B 去改 9B 的 rollout，结果不如自我干预。论文自陈原因是「corrections from the much larger model deviate further from the policy’s distribution」。
未干预的组精确退化为 GRPO（ $\tilde\rho_{\mathrm{cal}}^t\equiv1$ ），这让增量可以被干净地归因到那 15% 的触发组上。

局限性

PPL 门控的动机句与它自己的实现不咬合。§4.2 写「its probability ratios may fall outside the PPO clipping range」，但重要性比 $\rho=\pi_\theta/\pi_{\theta_{\mathrm{old}}}$ 在第一步更新时分子分母是同一份参数，恒等于 1，裁剪根本不会触发；偏移风险只在多轮 mini-batch 更新后才出现。门控真正控制的是另一个量：改笔文本在策略下的绝对似然。绝对似然会把「内容本身低概率」误判成「分布偏移」——Navigation 的正确答案要吐出精确坐标和 POI 专名，正是低概率字面内容最密集的场景。
$\delta=5$ 只在一个格子上调过。

“We therefore adopt $\delta=5$ in all experiments.”

—— §5.4 Hyperparameter Study

扫描只在 Navigation、只用 8B，却被五个基准两个骨干复用。更要紧的是强教师干预臂也用同一个 $\delta$ ：大模型的改笔天然更高 PPL，在这道门下被筛掉的比例更高，于是「自我干预更强」的结论里混着门控标定偏差。补一个「强教师臂单独重标 $\delta$ 」的对照就能分离，表里没有。

最大的那笔增益落在同源自建集上。Claw-Eval-Hard20 的 20 个测试任务先按 base 失败筛出来，再为每个任务造 8 个结构保持变体当训练数据：

“we treat each selected task as a task family and generate eight structure-preserving variants”

—— Appendix C.2.3

base 的 26.25 有回归均值成分（17 个任务 base 三次采样全败），RTI 的 85.00 里含任务族内迁移。真 OOD 只有 Rest-OOD 那 +6.36。论文的进步在于它自己把这个数摆到了表 7，没有拿 85.00 当唯一 headline。

组内优势的记账结构没有被报出来。干预组是「8 条里至少 1 条被换」。按 GRPO 的组归一化手算： $k=1$ 时 $A_{\mathrm{win}}=+2.646$ 、 $A_{\mathrm{lose}}=-0.378$ （7:1，强正向弱负向）； $k=5$ 时翻成 $+0.775$ / $-1.291$ 。 $k$ 取多少取决于「干预后拿到 reward=1 的比例」，表 6 没报这个数。这一层记账决定了干预组到底是乐观偏置还是常规组，论文没说破。
内部化证据用的是另一个量。图 4 用干预前的 $\mathrm{Pass}@8$ 上升论证「模型越来越不需要干预」，可 headline 报的是 $p@1$ ； $\mathrm{Pass}@8$ 对探索宽度敏感，而论文自己在 §5.5 也说 RTI 的 turn 分布更宽。图 5(a) 的 PPL 下降曲线是被 $\delta=5$ 从上方截断的样本均值，其下降幅度受选择效应约束，不能单独当成内化证据。两张图都是曲线、无数值。
定理约束的不是风险所在。Definition 5 自陈这些界是假设：

“which abstract, rather than rigorously derive from, the reweighting and clipping mechanisms in Eq. (11) and Eq. (12)”

—— Definition 5

更关键的是 off-policy 那一支的「累计信任域」： $\sum_{k=0}^{K-1}\mathbb E\|\Delta\theta_{\mathrm{cal}}^k\|^2\le D_{\mathrm{cal}}^2$ ，右端与 $K$ 无关。这条假设说干预带来的累计参数位移有界，与「干预持续把策略推出能力边界」的主张相互拉扯。定理里另一个核心系数 $\lambda$ 从未被测量——按表 6 反推（150 组触发、每组至多换 1 条、干预后轨迹更短）约在 1%–2%。

成本没有定价。表 6 给出：每 1000 组触发 150 组，处理的却是 1,200 条轨迹（整组 8 条全跑）；8,739 个步被标无效，三个角色各调一次，约 26,217 次额外 LLM 调用；40.89% 的改笔被 Verifier 拒掉；最终进入训练的至多 150/1200 = 12.5%。全文 grep seed / wall-clock / GPU-hour 均为零命中。
$\mathrm{Pass}@4$ 与独立假设的缺口本身就是一条结论。若同一任务的 4 次采样独立、成功率为 $p@1$ ， $\mathrm{Pass}@4$ 应为 $1-(1-p@1)^4$ 。实测缺口：Navigation 上 GRPO 39.18、RTI 30.68；Telecom 上 GRPO 14.79、RTI 5.67。缺口普遍为正说明同任务多次采样强相关，成败由「任务会不会做」决定。缺口在两个基准上的变化方式不一样：Telecom 上 RTI 把它从 14.79 压到 5.67（一批任务被抬到「偶尔会」），Navigation 上几乎不变（一批任务被直接抬到「稳定会」）。这也意味着 $\mathrm{Pass}@k$ 与 $\mathrm{Pass}k$ 不是两个独立维度，两者被同一个「任务级成功率的分布」决定。

对大模型领域的影响

这条路线把探索瓶颈从采样器内部（温度、熵奖励、课程）挪到了采样器外部（一个会看 rubric 的编辑器）。代价是训练期与部署期的可观测性不对等：部署时没有 Validator 也没有 Corrector，rubric 更拿不到。所有 train-time 干预方法都要回答同一个问题——学到的到底是「怎么解题」还是「怎么用 rubric 线索」。RTI 用图 4 的干预前 Pass@8 上升回答了半步，答的是探索宽度，不是 $p@1$ 。

换一个角度看天花板：教师能力天花板被换成了 rubric 信息量天花板。rubric 越具体，Corrector 越接近照答案改（D.2 的无抑制对照里它直接 verbalize 了后端信息）；rubric 越粗，它修不了决定性错误。这个新瓶颈论文只在「泄漏」这一面讨论过，没有扫 rubric 粒度。

5 实践启示

可以借鉴的技术

整组全败才触发：省算力之外，还把干预精准投到瓶颈处。这个触发条件可以独立搬到任何「失败样本改写」流水线里。
reward-oriented 而非 process-prescriptive 的判据：只判「会不会带偏」，不判「最优不最优」。做数据清洗时这条比逐步打分便宜得多，也不容易把风格多样性洗掉。
PPL 门控作为通用可学性过滤器：任何往训练里注入外部改写数据的场景（教师改写、人工修订、规则修正）都能加这一道，它与改写者是谁无关。
$\pi^{\mathrm{cal}}/\pi^{\mathrm{roll}}$ 的 stop-gradient 逐 token 比值：一个低成本的「哪里改了」定位器，比按位置均匀加权或整条加权都更贴需求。

潜在应用场景

多轮工具调用 agent：电信/零售/航司客服、地图导航这类「工具权限边界容易搞错」的场景，与论文验证的三个 $\tau^2$ 域加 Navigation 直接对应。
长程搜索与研究型 agent：Claw-Eval-Hard20 覆盖的多步编排、失败恢复、跨源综合正是这类任务的失败模式。
内部流程 agent：只要评测标准能写成 rubric，就有干预所需的奖励侧证据。

落地前必须补的四件事

干预后 reward=1 的比例，以及触发率随训练步数的曲线——没有这两条，无法判断策略什么时候不再需要干预。
$\delta$ 在目标域重新标定。输出含大量专有名词、坐标、ID、代码的域，PPL 门控会系统性地误杀含关键改笔的 token。
每个基准一份消融，尤其 headline 那个。现在 Claw-Eval-Hard20 上没有任何消融。
干预调用占比与 wall-clock。按表 6 反推是每 1000 组多约 26,217 次 LLM 调用、其中 40.89% 的改笔被拒——这个量级决定它能不能上生产。

参考文献

Chen, X., Ding, R., Wang, Z., Zhang, F., Zhang, Q., Chen, B., Wang, S., Wang, T., Ren, A., Wang, P., Xie, P., & Xiong, H. (2026). Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits. arXiv:2610.13438 [cs.AI]. Alibaba Token Hub, Alibaba Group / HKUST (Guangzhou) / Amap, Alibaba Group. v1 2026-10-09, v2 2026-10-12.