研究提案已修订

面向多轮智能体RL的方向-幅度解耦感知训练数据工程：从教师方向劫持到因果锚定的方向-幅度边界自适应数据策展

将多轮智能体RL自蒸馏中的方向-幅度解耦兼容性建模为一等训练数据质量信号，诊断三类解耦失败（方向模糊/幅度污染/方向-幅度冲突），通过因果锚定的方向-幅度边界自适应数据策展系统性消除教师方向劫持与信息不对称偏差

2026年8月15日方向-幅度解耦自蒸馏多轮智能体RL 训练数据工程信用分配 RLVR 信息不对称

背景与动机

多轮智能体强化学习（Multi-Turn Agent RL）已成为训练工具增强推理智能体的核心范式。强化学习带可验证奖励（RLVR）提供了验证器约束的性能天花板，但其轨迹级信用分配将异构的每轮结果混合为单一奖励信号，导致严重的信用稀释。在策略自蒸馏（On-Policy Self-Distillation, OPSD）通过使用模型自身在特权信息条件下的 logits 作为密集 token 级教师来补充稀疏奖励信号，已成为缓解此问题的主流路径。

2026 年 7-8 月，该领域出现了一个显著的收敛趋势——多项独立工作从不同角度发现了同一个基本原则：

H2SD（arXiv:2607.18955, 2026-07-21）首次提出根据轨迹正确性差异化使用教师：正确轨迹中教师仅调制更新幅度，失败轨迹中教师通过反向 KL 提供方向修正。
GRSD（arXiv:2607.28076, 2026-07-30）从群体反思角度提出”调制基于结果的优势同时保持验证器确定的学习方向”。
CRPO（arXiv:2607.28026, 2026-07-30）从对比学习视角揭示多轮场景中特权信息导致的暴露偏差使推理路径收敛。
SSPO（arXiv:2608.12764, 2026-08-13）明确提出”解耦更新什么与更新多少：结果奖励决定策略变化方向，教师调制每步幅度”。
CrEST（arXiv:2608.13179, 2026-08-13）将教师角色从”决定更新方向”降级为”调制更新幅度”，通过轮段分割验证优势和熵门控教师调制实现层级化信用分配。
LOPD（arXiv:2608.13040, 2026-08-13）进一步将教师特权上下文本身端到端学习化，消除人工指定特权信息的需求。

这六项工作的收敛揭示了一个根本性原则：在自蒸馏中，教师应仅调制更新幅度，而非决定更新方向。当教师利用特权信息（答案、技能卡、参考解）决定方向时，会导致三类问题——信息不对称继承（SSPO）、教师约束天花板（CrEST）、暴露偏差路径收敛（CRPO）。

然而，现有工作均停留在算法层面——修改 RL/蒸馏目标函数、教师构造方式或信用分配机制。没有一个工作从训练数据层面回答以下关键问题：

哪些轨迹具有适合方向-幅度解耦的结构？ SSPO 对正确轨迹”保持不动以保留多样性”，但如果”正确”轨迹本身的方向信号存在歧义（部分成功、验证器盲区），这种保留反而固化了次优方向。
训练数据如何策展以最大化方向信号（RL 验证器）与幅度信号（教师-学生分歧）的双重信息增益？ LOPD 将特权上下文学习化，但未考虑不同轨迹中教师-学生分歧的信息质量差异——某些分歧源于真实学习信号，另一些则纯粹是信息不对称伪影。
方向信号与幅度信号冲突时如何处理？ H2SD 在算法层面按轨迹正确性差异化处理，但在数据层面存在更细粒度的冲突：一条”正确”轨迹中某些步骤的教师-学生分歧可能指向与 RL 方向相反的方向；一条”错误”轨迹中某些步骤的教师可能同意学生的选择。

这些不足指向一个核心问题：方向-幅度解耦的有效性根本性地依赖于训练数据的结构质量。我们需要将方向-幅度兼容性建模为一等训练数据质量信号，从数据工程层面系统性保障解耦的有效性。

核心思路

提出 DM-DECOUPLE 框架——面向多轮智能体 RL 的方向-幅度解耦感知训练数据工程。核心思想：将训练轨迹的方向-幅度兼容性（Direction-Magnitude Compatibility, DMC）建模为一等数据质量信号，通过三类解耦失败诊断→因果锚定的方向-幅度边界自适应策展→方向-幅度-能力共进化闭环三阶段，从训练数据层面系统性消除教师方向劫持与信息不对称偏差。

与现有工作的关键区别

维度	现有工作（SSPO/CrEST/LOPD 等）	DM-DECOUPLE
干预层面	算法层面（修改 RL/蒸馏目标）	数据层面（策展/合成/组织训练轨迹）
方向-幅度边界	算法固定（如 SSPO 按”正确/错误”二分）	数据驱动自适应（因果分析确定每轨迹的边界）
信息不对称处理	算法缓解（如 LOPD 学习化特权上下文）	数据级过滤（幅度污染诊断→污染轨迹降权/剔除）
冲突处理	轨迹级差异化（如 H2SD 按正确性切换策略）	步骤级精细处理（方向-幅度冲突步骤的定向修复）
演化能力	算法超参固定	方向-幅度边界随训练动态演化

技术路线

阶段一：方向-幅度兼容性画像（DMCP）

对每条训练轨迹 τ = (s₁, a₁, r₁, …, sₙ, aₙ, rₙ)，定义三维方向-幅度兼容性画像：

1.1 方向清晰度（Direction Clarity, DC）

量化 RL 验证器为该轨迹提供的方向信号质量：

结果确定性：轨迹的最终结果是否明确（通过/失败 vs 部分通过/超时/验证器错误）
阶段一致性：参考 Temporal GRPO（arXiv:2608.13026）的阶段分割，计算各阶段结果与最终结果的一致性——若前期阶段成功但最终失败（或反之），方向信号存在歧义
验证器置信度：验证器对该轨迹的判定置信度（如测试通过率是否处于边界区域）

DC = f(结果确定性, 阶段一致性, 验证器置信度)，取值 [0, 1]，越高表示方向信号越清晰。

1.2 幅度信息性（Magnitude Informativeness, MI）

量化教师-学生分歧作为幅度信号的信息质量：

分歧密度：教师与学生 logit 分布的 KL 散度在轨迹上的积分
分歧一致性：多次采样下教师-学生分歧的稳定性——高方差分歧暗示信息不对称噪声而非真实学习信号
分歧可学习性：参考 LOPD 的特权边际目标，估计教师-学生分歧中可被学生通过参数更新消化的比例——不可学习的分歧（信息不对称伪影）应被降权

MI = g(分歧密度, 分歧一致性, 分歧可学习性)，取值 [0, 1]，越高表示幅度信号越有信息价值。

1.3 方向-幅度冲突度（Direction-Magnitude Conflict, DMC°）

量化方向信号与幅度信号在步骤级的不一致程度：

步骤级方向-幅度符号不一致：对每个步骤，计算 RL 方向信号（基于阶段分割优势的符号）与教师幅度信号（教师-学生分歧指向的方向）是否一致
冲突集中度：冲突步骤在轨迹中的分布——集中冲突（连续步骤冲突）可能指示系统性的方向-幅度不兼容，分散冲突更可能是噪声
冲突强度：冲突步骤的教师-学生分歧幅度——高强度冲突需要优先处理

DMC° = h(步骤级不一致率, 冲突集中度, 冲突强度)，取值 [0, 1]，越高表示方向-幅度冲突越严重。

阶段二：因果锚定的方向-幅度边界自适应数据策展

基于 DMCP 画像，执行三轨策展策略：

2.1 方向锚定采样（Direction-Anchored Sampling）

优先选择高 DC 轨迹进入 RL 更新批次，确保 RL 方向信号基于清晰的验证器反馈：

对 DC < θ_DA 的轨迹（方向模糊），降权或延迟进入 RL 批次——这些轨迹的 RL 梯度方向不可靠
对 DC ≥ θ_DA 的轨迹，按 MI 分层采样，确保高 MI 轨迹在批次中充分代表
参考 Temporal GRPO 的阶段对齐：仅当同一阶段的多条轨迹均有 DC ≥ θ_DA 时才纳入阶段级优势计算，避免模糊方向污染阶段优势

关键挑战：θ_DA 阈值的自适应设定——过高会过度过滤训练数据，过低则无法有效消除方向模糊。采用基于验证器置信度分布的分位数动态设定。

2.2 幅度感知增强合成（Magnitude-Informed Synthesis）

针对 MI 低的轨迹区域，合成高 MI 的增强轨迹：

幅度桥接合成：识别 MI 低的原因（分歧密度不足/分歧一致性差/分歧不可学习），定向合成补充轨迹
- 分歧密度不足→合成更复杂的推理路径变体，增加教师-学生分歧点
- 分歧一致性差→参考 SSPO 的 Evidence Anchors，合成带有步骤级证据锚点的轨迹，稳定教师-学生分歧模式
- 分歧不可学习→参考 LOPD 的可学习特权上下文，合成特权信息与学生当前能力匹配的轨迹
反信息不对称合成：参考 CRPO 的对比学习视角，合成”教师同意学生但 RL 方向为负”和”教师不同意学生但 RL 方向为正”的对比对，帮助模型区分真实学习信号与信息不对称伪影

关键挑战：合成轨迹的验证器通过率保障——增强合成可能产生验证器无法判定的轨迹。采用多验证器交叉验证（参考 CEVC 框架思路）。

2.3 冲突感知批次构建（Conflict-Aware Batch Construction）

针对 DMC° 高的轨迹，设计冲突感知的批次组织策略：

冲突隔离：将高 DMC° 轨迹与低 DMC° 轨迹分批处理，避免冲突步骤的梯度信号干扰清晰步骤的学习
冲突步骤定向修复：对高 DMC° 轨迹中的冲突步骤，采用反事实替换测试——将冲突步骤替换为教师建议的动作，观察轨迹结果是否改善，以此决定冲突步骤的方向归属
方向-幅度边界自适应：基于冲突步骤的反事实测试结果，动态调整该轨迹的方向-幅度边界——若反事实测试支持教师方向，则该步骤切换为教师方向主导；否则保持 RL 方向主导，教师仅调制幅度

关键挑战：反事实测试的计算开销——每条高 DMC° 轨迹的每个冲突步骤都需要执行反事实替换。采用缓存与批量反事实测试降低开销。

阶段三：方向-幅度-能力共进化闭环

3.1 方向-幅度边界演化追踪

在训练过程中持续监控 DMCP 画像的分布演化：

DC 分布漂移：随策略能力提升，验证器通过率分布变化导致 DC 阈值需动态调整
MI 分布演化：随学生能力接近教师，教师-学生分歧密度自然下降，需识别”有效分歧消失”与”信息不对称伪影消失”的区别
DMC° 分布趋势：随训练进行，方向-幅度冲突应逐渐减少——若冲突增加，暗示策略正在学习与教师方向不一致的路径（可能是积极探索，也可能是方向劫持）

3.2 共进化校准机制

方向信号校准：定期使用外部独立验证器（非训练验证器）评估高 DC 轨迹的方向信号质量，防止训练验证器的捷径被固化为方向信号
幅度信号校准：定期使用更大模型作为外部教师评估 MI，防止自教师的幅度信号发生退化
边界自适应更新：根据 DC/MI/DMC° 的联合分布演化，自动更新 θ_DA 阈值和冲突处理策略参数

3.3 退化检测与断路器

参考 COMPOUND-GUARD 框架的断路器思路，设计方向-幅度退化的三级断路器：

黄灯：DMC° 分布中位数连续 3 个 epoch 上升→增加反事实测试频率
橙灯：MI 分布下四分位数连续 5 个 epoch 下降→触发幅度桥接合成
红灯：DC 分布均值下降至初始值的 80% 以下→暂停训练，触发方向信号审计

阶段四：实验设计与消融

评测矩阵。 三层基准覆盖不同失效面：BFCL V3 与 WildToolBench 测工具调用的多轮一致性，BrowseComp 测长程检索中的目标漂移，另需一组 10+ 轮的长轨迹任务专门检验信用稀释。所有基准统一报告会话级成功率、平均轮次、以及方向劫持率（教师方向与 RL 方向不一致且教师方向错误的步骤占比）。

消融轴。 三条，对应三个画像维度：

DC 轴：关闭方向锚定采样（θ_DA = 0，即随机采样），隔离方向清晰度过滤的贡献
MI 轴：关闭幅度桥接合成，仅保留方向锚定，隔离合成增强的贡献
DMC° 轴：关闭冲突隔离与定向修复（高冲突轨迹与低冲突轨迹混批），隔离冲突处理的贡献

三者全关退化为标准 SSPO/CrEST 数据管线的对照组。若任一轴的消融结果与全开配置的差距落在种子噪声范围内，说明该维度在本任务分布上不构成瓶颈，应当从框架中精简。

成功判据。 主指标需在 ≥5 个独立种子上取均值，组间差异经配对 bootstrap 检验；方向劫持率以反事实评估测得（替换冲突步骤为教师建议动作后观察结果是否改善），需报告反事实评估本身的覆盖率。

预期成果

定量目标

方向-幅度兼容性提升：在 BFCL V3、WildToolBench、BrowseComp 等多轮智能体基准上，使训练轨迹的平均 DMC° 降低 40%+（相比 SSPO/CrEST 基线）
训练效率提升：在达到相同性能水平时，减少 30%+ 的梯度更新步数（通过高 DC/高 MI 轨迹的优先策展提升每步信息增益）
长轨迹性能提升：在 10+ 轮的长轨迹任务上，相比 CrEST 基线提升 5+ 个百分点的会话级成功率
方向劫持消除：在反事实评估中，教师方向劫持率（教师方向与 RL 方向不一致且教师方向错误的步骤比例）降低 60%+

定性目标

建立方向-幅度兼容性作为训练数据质量信号的正式定义与度量方法
揭示三类解耦失败在多轮智能体 RL 训练中的分布特征与动态演化规律
提供方向-幅度边界自适应的理论框架与实践工具

可能的影响

理论层面：补全自蒸馏方向-幅度解耦从算法级到数据级的理论链条，为”哪些轨迹适合解耦”提供可操作的定义
实践层面：为自进化智能体训练数据工程提供新的质量维度，可与现有框架（CrEST/SSPO/LOPD 等）即插即用集成
系统层面：方向-幅度边界自适应机制为长期训练中的退化预防提供新工具，特别是针对多轮场景中的信用分配退化问题

局限性与失效模式

三维画像各自都有可观的计算代价，且 MI 的定义依赖一个循环。 DC 需要多次采样以估计验证器置信度，MI 需要教师-学生 logit 的 KL 积分与多采样稳定性估计，DMC° 需要逐步骤比对符号——三者叠加后，画像本身的开销可能逼近甚至超过 RL 训练成本，而原稿把”减少 30%+ 梯度步数”当作净收益，未扣除画像开销。更深一层的问题是 MI 的可学习性分量：它要估计”教师-学生分歧中可被学生通过参数更新消化的比例”，而这个比例只有真正训练之后才知道，构成自指。可操作的退路是用轻量代理（如分歧在当前策略下的优势方差）并显式报告代理与真值的相关性，但这一点必须先验证再使用。

三级断路器的阈值是拍出来的。 黄灯”DMC° 中位数连续 3 个 epoch 上升”、橙灯”MI 下四分位数连续 5 个 epoch 下降”、红灯”DC 均值降至初始值 80% 以下”——这些数字在稿件里没有给出标定依据。epoch 长度、批次大小、任务分布都会改变这些统计量的自然波动幅度；阈值过松则断路器永不触发，过紧则频繁中断训练。它们需要在无干预的基线跑上先测出自然漂移分布，再据此设定，否则断路器只是一组装饰性的规则。

自教师退化无法用自教师自己检测。 阶段三设想”定期使用更大模型作为外部教师评估 MI，防止自教师的幅度信号发生退化”，这等于承认了幅度信号的质量需要一个外部参照。但一旦引入外部教师，整个框架就不再是纯粹的 on-policy 自蒸馏，其成本优势与”无需额外监督”的立论基础都被削弱。这条退路在多大程度上改变了框架的性质，需要在论文里正面讨论而非作为技术细节带过。

方向-幅度二分本身可能不是最优分解。 六项收敛工作都支持这一分解，但收敛可能部分源于共同的评测口径与任务选择——它们大多在数学或搜索类任务上验证。在工具调用失败、环境状态不可回滚的场景里，“方向”与”幅度”未必可分离：一个动作既是方向选择也携带幅度信息。若二分在目标域不成立，DMC° 的构造就失去了意义。