研究提案 已修订

多轮 Agentic RL 推理退化诊断性数据工程：从模式识别到轨迹修复

提出 REMEDY 框架，通过统一诊断多种推理退化模式（模板坍缩、信息自锁、早期漂移），设计针对性训练轨迹修复策略，闭环提升多轮 Agent RL 训练的推理完整性

agentic-rl reasoning-degradation template-collapse data-engineering trajectory-repair mutual-information multi-turn-agent

背景与动机

多轮强化学习（Agentic RL）已成为训练大语言模型智能体的核心范式。然而，近期一系列工作揭示了一个令人警觉的现象：即使在熵指标看似健康的情况下，模型的推理质量仍会悄然退化。

具体而言，至少三种已被独立识别的退化模式正在困扰 Agentic RL 训练：

  1. 模板坍缩（Template Collapse）：RAGEN-2（2604.06268）发现，即使 token 级熵保持较高水平，模型仍会退化为产生”看似多样但与输入无关”的固定模板输出。传统熵指标 H(Z) 完全无法检测这一现象，必须依赖互信息 I(X;Z) 才能发现模型已停止”倾听”输入。

  2. 信息自锁（Information Self-Locking）：On Information Self-Locking in RL（2603.12109）揭示，Agent 在交互式推理中会陷入低信息交互模式——停止追问有价值的问题，也无法内化已获取的信息。这种退化与真实世界中用户使用 Agent 时的失败模式高度一致。

  3. 早期漂移（Early Transition Drift）：Dissecting Failure Dynamics（2604.14528）发现，推理错误并非均匀分布，而是源自少量早期转移点——在这些点之后，推理虽局部连贯但全局偏离正确方向。这些转移点伴随着 token 级熵的局部尖峰，而从同一中间状态出发的替代路径仍可导向正确解。

这三种退化模式具有一个共同的结构性根源：当前 Agentic RL 的训练数据工程缺乏对推理完整性的细粒度诊断能力。现有方法要么仅依赖粗粒度的结果奖励信号（无法区分”正确的推理”和”碰巧正确的猜测”），要么使用不充分的中间指标（如 token 熵）进行监控，导致退化在训练过程中悄然累积而无法被及时发现和修复。

与此同时，AEM（2605.00425）提出的自适应熵调制和 Escaping Mode Collapse（2605.00435）提出的几何调节方法分别针对单一退化模式提供了局部缓解方案，但缺乏对多种退化模式间相互作用的理解，也无法在数据工程层面进行系统性预防。

核心思路

我们提出 REMEDY（REasoning Mode Degradation Diagnosis and Yield Recovery via Data Engineering）框架，其核心思想是：将推理退化模式的诊断作为一等公民纳入训练数据工程循环，通过模式感知的轨迹修复实现推理完整性的主动维护。

REMEDY 的关键区别于现有工作：

维度现有方法REMEDY
诊断粒度单一指标（熵/奖励）多维度退化模式联合诊断
干预时机训练后检测训练中实时诊断-干预闭环
数据策略静态课程/难度递增退化模式驱动的动态轨迹修复
理论基础经验性调参信息论 + 因果推断的统一分析框架

REMEDY 框架由三个核心组件构成：

（1）退化模式统一诊断器（Degradation Pattern Unified Diagnoser, DPUD）：基于信息论构建统一诊断空间，将三种退化模式映射为可计算的指标组合：

  • 模板坍缩指标：互信息 I(X;Z) 相对于基线的衰减比率
  • 信息自锁指标：多轮交互中逐轮信息增益 ΔI(t) = I(S_t; A_t | H_{<t}) 的持续低迷
  • 早期漂移指标：推理轨迹中 token 级熵尖峰与后续准确率骤降的因果关联强度

（2）模式感知轨迹修复器（Pattern-Aware Trajectory Repairer, PATR）：针对每种退化模式设计专用的训练数据工程策略：

  • 对抗模板坍缩：合成输入判别性轨迹（Input-Discriminative Trajectories），即在语义相近但关键条件不同的输入对上生成差异化推理路径，并通过对比学习强化 I(X;Z)
  • 打破信息自锁：注入信息探询轨迹（Information-Probing Trajectories），显式训练 Agent 在低确定性时发起信息获取动作，并奖励高信息增益的交互策略
  • 修复早期漂移：构造分岔修复轨迹（Bifurcation Repair Trajectories），在已识别的早期转移点处生成正确与错误的推理分岔，使模型学习在漂移临界点做出正确选择

（3）诊断-修复闭环（Diagnosis-Repair Loop, DRL）：将 DPUD 的诊断结果实时反馈至 PATR，形成训练中的自适应数据工程循环。每轮训练后，DPUD 评估当前模型的退化状态，PATR 据此调整下一轮训练数据的组成比例和修复策略权重。

技术路线

第一阶段：退化模式的形式化与诊断指标构建（4-6 周）

  1. 统一信息论框架构建

    • 定义推理完整性的形式化度量：RI = f(I(X;Z), ΔI(t), C(entropy_spike → accuracy_drop))
    • 在 RAGEN-2、Information Self-Locking、Dissecting Failure Dynamics 的公开数据上验证各指标的诊断有效性
    • 建立退化模式间的相互作用模型：模板坍缩是否会加剧信息自锁？早期漂移是否是模板坍缩的前兆？

  2. DPUD 轻量化实现

    • 设计高效的互信息估计方法（MINE 估计器 + 批量近似），避免逐样本的完整互信息计算
    • 实现滑动窗口式的实时退化检测，支持在训练循环中以低成本运行
    • 在 SWE-bench 和 WebShop 等标准 Agent 基准上校准诊断阈值

第二阶段：模式感知轨迹修复策略设计（6-8 周）

  1. 输入判别性轨迹合成（对抗模板坍缩）

    • 设计输入变异器：在保持任务语义的前提下，系统性地变异关键条件（如数值约束、时序关系、逻辑连接词）
    • 开发差异化推理路径生成器：对变异输入对生成显著差异化的推理链，确保模型无法通过模板匹配解决
    • 引入对比信息目标：L_contrast = -log(exp(I(X_i; Z_i)) / Σ_j exp(I(X_j; Z_i)))，直接优化互信息

  2. 信息探询轨迹注入（打破信息自锁）

    • 构建信息增益预言机（Oracle）：在模拟环境中预先计算每个可能的交互动作的期望信息增益
    • 设计自锁检测-修复配对：检测到信息自锁模式时，自动生成对应的探询轨迹作为训练补充
    • 实现”好奇心驱动”的奖励塑形：在标准结果奖励之外，增加基于信息增益的辅助奖励

  3. 分岔修复轨迹构造（修复早期漂移）

    • 训练漂移点检测器：基于 token 级熵模式识别推理轨迹中的潜在漂移点
    • 从漂移点处进行束搜索（Beam Search），生成正确与错误的推理分岔
    • 构造分岔对作为偏好学习数据：正确分岔作为 chosen，错误分岔作为 rejected

第三阶段：诊断-修复闭环集成与验证（4-6 周）

  1. DRL 闭环系统实现

    • 在现有 RL 训练框架（如 OpenRLHF、veRL）中集成 DPUD 诊断模块
    • 实现基于退化状态的动态数据混合策略：根据 DPUD 输出的退化概率向量动态调整三类修复轨迹的采样比例
    • 设计自适应调度器：在训练早期侧重预防性注入（信息探询轨迹），中后期侧重修复性注入（分岔修复轨迹）

  2. 实验验证

    • 主实验：在 SWE-bench-Verified、WebShop、ALFWorld 三个基准上对比 REMEDY 与基线方法（标准 GRPO、AEM、RMR）
    • 消融实验：分别移除三类修复策略，评估各组件的独立贡献
    • 退化模式分析：在训练过程中持续监控 DPUD 指标，验证 REMEDY 是否有效抑制了各退化模式
    • 泛化性测试：在未见过的任务类型上测试，验证修复策略的泛化能力

关键技术挑战

  1. 互信息估计的计算效率：精确估计 I(X;Z) 在长上下文场景下计算代价高昂，需要开发高效的近似方法
  2. 退化模式的交互效应：多种退化模式可能同时出现并相互强化，需要仔细建模其交互作用
  3. 修复轨迹的质量保证：合成轨迹可能引入新的偏差，需要设计严格的质量过滤机制
  4. 诊断-修复时序对齐：退化检测与轨迹注入之间存在延迟，需要设计前瞻性的干预策略

预期成果

定量目标

  1. 在 SWE-bench-Verified 上，相比标准 GRPO 基线提升 3-5 个百分点（绝对值），相比 AEM 基线提升 1-2 个百分点
  2. 在多轮交互任务中，将信息自锁发生率降低 50% 以上
  3. 将训练过程中的模板坍缩检测延迟从当前的事后检测缩短至 100 步训练步内的实时检测
  4. 修复轨迹的数据效率：仅需增加 10-15% 的训练数据即可实现上述提升

定性目标

  1. 建立多轮 Agentic RL 推理退化的统一分类学和诊断框架
  2. 验证三种退化模式间的因果关系和交互效应
  3. 证明”诊断驱动的数据工程”范式在 Agentic RL 训练中的有效性

可能的影响

  1. 方法论影响：为 Agentic RL 社区提供首个系统性的推理退化诊断工具，改变当前”事后发现、逐一修补”的被动应对模式
  2. 工程影响：诊断-修复闭环可直接集成到现有 RL 训练框架中，降低工程部署门槛
  3. 理论影响：统一信息论框架可能催生推理完整性的新理论，推动对 Agentic RL 训练动态的深层理解

相关工作

  1. RAGEN-2: Reasoning Collapse in Agentic RL (arXiv:2604.06268) 首次系统性地揭示了 Agentic RL 中的模板坍缩现象，证明熵指标不足以检测推理退化，提出基于互信息的诊断方法。REMEDY 在此基础上将诊断扩展至多种退化模式的联合分析。

  2. On Information Self-Locking in Reinforcement Learning for Active Reasoning of LLM Agents (arXiv:2603.12109) 发现 Agent 在交互式推理中会陷入低信息交互模式，停止追问有价值的问题。REMEDY 的信息探询轨迹注入策略直接针对此问题设计。

  3. Dissecting Failure Dynamics in Large Language Model Reasoning (arXiv:2604.14528) 揭示推理错误源自少量早期转移点，且这些点伴随 token 级熵的局部尖峰。REMEDY 的分岔修复轨迹策略基于此发现构建。

  4. AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning (arXiv:2605.00425) 提出自适应熵调制方法缓解多轮 Agent RL 训练中的推理退化。REMEDY 将 AEM 的思路从单一的熵调制扩展为多模式诊断驱动的数据工程。

  5. Escaping Mode Collapse in LLM Generation via Geometric Regulation (arXiv:2605.00435) 提出几何调节方法（RMR）通过在线状态空间干预缓解模式坍缩。REMEDY 与 RMR 互补——RMR 在推理时干预，REMEDY 在训练时预防。

关联内容

研究 🔗 相关
Agentic RL 中的 Reward Hacking 问题
系统综述 6 类 Hack 实例、7 篇核心论文及工业界防御策略
研究 🔗 相关
解耦DiLoCo架构下的合成数据训练：分布式预训练的质量-效率权衡新范式
Google DeepMind的Decoupled DiLoCo架构为大规模合成数据训练提供了新可能。本提案探索在解耦孤岛架构下，如何优化合成数据配比策略，实现故障弹性与训练效率的平衡，为下一代分布式AI训练提供数据工程解决方案。
研究 🔗 相关
程序性推理骨架提取：构建跨域可迁移的推理结构中训练数据
上海 AI Lab 的最新研究（arXiv:2604.06628）证明 SFT 泛化的关键不在领域知识，而在'程序性推理结构'——分解、回溯、验证等步骤。Apple 的 SSD 进一步证明模型自身的采样输出可以成为高质量训练数据。本提案将两者结合：从强模型的推理过程中自动提取'推理骨架'，构建领域无关的中训练数据。