面向多轮智能体RL的奖励密度梯度感知训练数据工程：从全局奖励配比到轨迹段级密度画像驱动的数据策展

背景与动机

多轮智能体强化学习（Multi-Turn Agent RL）已成为提升 LLM 长程任务能力的关键训练范式，但训练信号的结构性缺陷正成为能力提升的核心瓶颈。近期三篇工作从不同角度揭示了同一深层问题：

RSPO（arXiv:2607.04713，Liu et al.）揭示了稀疏-密集奖励配比张力：在多轮任务中，稀疏结果奖励（outcome reward）提供正确的优化目标但收敛极慢，密集过程奖励（process reward）提供丰富梯度但可能偏离真实目标。RSPO 通过奖励交换机制在算法层面缓解这一张力——先用密集奖励训练若干步（扩展探索空间），再用结果奖励离线更新（保证对齐），在 ALFWorld 上相对 GRPO 提升 5.7%。

STAPO（arXiv:2607.04963，Qi et al.，ACL 2026）揭示了轨迹忽视现象：在长程交互中，中间步骤的智能体”遗忘”任务目标和交互历史，表现为归一化熵异常的离群步骤。轨迹忽视的本质是信号密度失衡——早期步骤的决策对最终结果影响最大（因果杠杆最高），但距离结果奖励最远（信号最稀疏）；后期步骤影响较小，但信号最密集。

TREK（arXiv:2607.05339，Xu et al.）揭示了探索-精炼的信号密度差异：GRPO 在策略已有能力范围内有效，但在困难 prompt 上因正确解模式不在策略支持内而停滞。TREK 先用蒸馏扩展探索支持（高密度过程信号），再用 GRPO 精炼（稀疏结果信号），在 AIME 2025 上将 Qwen3-8B 从 36.9 提升至 40.3。

核心问题：这三篇工作共同指向一个被忽视的数据层面事实——多轮轨迹内部存在奖励密度梯度（reward density gradient）：从早期轮次的”过程信号密集但结果信号稀疏”到晚期轮次的”结果信号可达但过程信号冗余”。这一梯度是轨迹的内在结构属性，但当前训练数据工程完全忽视它，对所有轨迹段施加统一的信号密度假设。RSPO 在算法层面做全局奖励交换，STAPO 在优化层面做选择性步骤加权，TREK 在调度层面做全局阶段划分——但没有任何工作在数据策展层面适配这一梯度。

核心思路

提出 DENSITY-GRADIENT 框架，将奖励密度配比问题从算法/优化/调度层面重构为数据工程层面。核心主张：不同轨迹段具有不同的最优信号密度需求，训练数据应按段级密度画像分层策展。

三维密度画像

对每个轨迹段定义三维画像：

• 过程信号可用性 PSA(s)：段 s 可获取的过程奖励精度 × 覆盖步骤比。高 PSA 意味着该段有丰富的细粒度反馈可用。
• 结果信号可达性 ORA(s)：段 s 到最终结果的因果距离的倒数。早期段 ORA 低（因果链长，结果信号衰减严重），晚期段 ORA 高。
• 信号对齐度 SA(s)：过程奖励与结果奖励在该段的一致性。SA ≈ 0 意味着过程奖励鼓励的方向与最终结果不一致（即 RSPO 揭示的密集奖励偏移风险）。

密度区域分类

基于三维画像将轨迹段分为三个密度区域：

• E-区（探索区）：PSA 高、ORA 低 → 早期关键决策步骤。需要”探索支持型”数据（策略多样、过程反馈丰富），类似 TREK 蒸馏探索阶段的数据需求。
• T-区（过渡区）：PSA ≈ ORA → 中期过渡步骤。需要”因果保持型”数据（过程与结果信号并重），确保早期决策的效果能传递到最终结果。
• R-区（精炼区）：ORA 高、PSA 低 → 晚期执行步骤。需要”精炼对齐型”数据（结果信号主导、执行质量高），类似 TREK 强化精炼阶段的数据需求。

与现有工作的关键区别

DENSITY-GRADIENT 工作在优化器之前——在数据进入训练循环之前，就已按段级密度需求完成策展，从源头预防信号密度失配，而非在训练过程中补救。

技术路线

阶段一：奖励密度梯度诊断

1.1 段级奖励密度分解

将多轮轨迹按轮次边界（或语义边界）切分为段，对每个段计算：

• PSA(s) = 过程奖励精度(s) × 过程奖励步骤覆盖比(s)
• ORA(s) = 1 / (1 + α ·因果距离(s, 终点))，其中因果距离通过反事实消融估计
• SA(s) = Corr(过程奖励梯度方向(s), 结果奖励梯度方向(s))，通过同一条轨迹在两种奖励下的策略梯度方向余弦相似度估计

1.2 密度梯度画像构建

• 三维画像 (PSA, ORA, SA) per segment
• 密度梯度方向：从 (high PSA, low ORA, ? SA) → (low PSA, high ORA, ? SA)
• 识别密度异常段：
  • 信号真空型：PSA ≈ 0 ∧ ORA ≈ 0（既无过程反馈也无结果反馈的关键决策步骤）
  • 信号冲突型：SA < 0（过程奖励与结果奖励方向相反——RSPO 密集奖励偏移的段级证据）
  • 信号冗余型：PSA 高 ∧ ORA 高 ∧ SA 高（过程与结果信号高度一致的晚期步骤，过程信号冗余）

1.3 密度失衡量化

定义段级密度失衡指数 DII(s) = |PSA(s) - ORA(s)| / max(PSA(s), ORA(s))，以及全局密度失衡指数 GDII = E_s[DII(s)]。GDII 越高，说明轨迹的信号密度分布越不均匀，越需要段级适配。

阶段二：密度分层策展

2.1 区域特定数据门控

对每个密度区域设计独立的数据质量门控：

• E-区门控：策略多样性 ≥ θ_div（确保早期决策探索充分）、过程奖励覆盖度 ≥ θ_cov、结果奖励宽容度（允许 ORA 低但需 PSA 补偿）
• T-区门控：过程-结果联合信号完整性 ≥ θ_joint、因果一致性 ≥ θ_causal（过程奖励改善确实导致结果改善）
• R-区门控：结果对齐度 ≥ θ_align、过程信号适度降权（避免过拟合过程奖励表面）

2.2 区域特定数据增强

• E-区增强（探索支持型）：

  • 借鉴 TREK 蒸馏探索：利用教师模型为信号真空段合成多元决策路径
  • 反事实模拟：对 E-区关键决策生成反事实轨迹，丰富过程信号
  • 密度加权采样：偏向 PSA 高的轨迹段，确保早期决策获得充分过程反馈

• T-区增强（因果保持型）：

  • 过程-结果联合信号蒸馏：从成功轨迹中提取过程-结果联合改善的中间段
  • 因果链补全：对因果链断裂的轨迹（E-区改善未传递到 R-区），生成过渡段数据修复因果链
  • 双信号一致性增强：通过对比学习拉近过程-结果信号一致的步骤表示

• R-区增强（精炼对齐型）：

  • 结果对齐强化：仅保留结果验证通过的晚期段数据
  • 执行质量蒸馏：从高成功率轨迹的 R-区段学习精确执行模式
  • 过程信号降权：R-区段训练时过程奖励权重衰减，避免过拟合

2.3 跨区域因果保持

• 因果链完整性约束：确保 E-区数据策展改变不会破坏 E→T→R 的因果传递
• 反事实一致性：改变 E-区决策后，T-区和 R-区数据需相应调整（反事实同步）
• 因果边界对齐：区域间信号传递的一致性校验，防止区域边界处的信号断裂

阶段三：密度-能力共进化闭环

3.1 策略驱动的密度需求演化

• 训练初期：策略在 E-区最弱 → 数据偏重探索支持型（E-区占比 ~60%）
• 训练中期：策略 E-区能力提升，T-区成为瓶颈 → 数据转向因果保持型（T-区占比 ~50%）
• 训练后期：策略探索充分，R-区精炼需求凸显 → 数据转向精炼对齐型（R-区占比 ~60%）

这一 E→T→R 迁移模式将 TREK 的全局两阶段迁移细化到段级三阶段动态迁移。

3.2 密度画像动态更新

• 每轮训练后重新画像：策略变化导致 PSA/ORA 分布偏移
• 密度区域边界动态调整：E/T/R 区域阈值随策略演化自适应
• 新密度异常段的主动发现与填充

3.3 共进化指标

• 密度满足率 DSR：各区域数据是否满足该区域的信号密度门控
• 密度-能力增益 DCG：某区域数据密度优化是否转化为该区域能力提升
• 跨区域因果保真度 CCF：E-区数据优化是否正向传播到 R-区（非破坏性）
• 密度迁移进度 DMP：E→T→R 迁移的阶段识别与进度追踪

关键技术挑战

1. 段边界语义切分：轮次边界不一定对应信号密度边界。需要基于 PSA/ORA 变化点的语义感知段切分算法，而非简单的轮次切分。
2. 过程信号可用性估计：缺乏显式过程奖励时如何估计 PSA——需借鉴 uPRM（arXiv:2605.10158）等无监督过程奖励方法，或利用 STAPO 的归一化熵作为 PSA 的近似。
3. 跨区域因果归因：E-区数据改变对 R-区能力的影响如何归因——需反事实分析，但反事实模拟在真实交互环境中代价高昂。可行方案：利用 PMD 的跨片段程序性记忆结构作为因果归因的中间表示。
4. 密度-能力的延迟反馈：E-区数据优化的 R-区增益可能滞后多个训练 epoch——需长期跟踪机制，避免过早判定某区域数据策略无效。
5. 区域边界动态性：E/T/R 区域的边界随策略演化而移动，需要稳定的边界追踪算法，避免边界震荡导致策展不稳定。

预期成果

定量目标

• 在 ALFWorld 上相比 GRPO baseline 提升 5-8% 成功率（对标 RSPO 的 5.7%，但通过数据层面实现）
• 在 WebShop 上相比 GRPO baseline 提升 4-7% 成功率
• 轨迹忽视率降低 30%+（对标 STAPO 的轨迹忽视缓解效果）
• 全局密度失衡指数 GDII 从均匀策略的 ~0.7 降低至 ~0.3
• 密度满足率 DSR 从均匀策略的 ~40% 提升至 ~75%

定性目标

• 建立多轮智能体 RL 训练数据的奖励密度梯度理论，形式化 PSA/ORA/SA 三维画像及 DII 度量
• 验证”段级密度适配 > 全局密度配比 > 统一信号”的层次化优势假设
• 揭示密度-能力共进化的 E→T→R 迁移模式及其与 TREK 全局探索-精炼阶段的对应关系
• 为 RSPO/STAPO/TREK 等算法级方案提供数据层面的互补优化维度

可能的影响

• 范式迁移：将 RSPO 开启的”奖励密度适配”研究范式从算法层面提升到数据工程层面，为后续工作提供新的优化维度——算法适配和数据策展联合优化
• 理论统一：将 RSPO 的稀疏-密集配比、STAPO 的轨迹忽视、TREK 的探索-精炼统一到”奖励密度梯度”这一概念框架下，三者分别对应密度梯度的不同症状
• 系统赋能：为 AReaL 2.0（arXiv:2607.01120）等自进化智能体系统提供数据层面的信号密度管理能力，使 ATDP 轨迹数据协议携带段级密度画像信息
• 可迁移性：DENSITY-GRADIENT 框架与具体 RL 算法无关，可叠加应用于 GRPO/PPO/GiGPO 等任意算法之上

相关工作

1. RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents — Liu et al., 2026. 揭示多轮智能体 RL 中稀疏-密集奖励配比张力，提出奖励交换机制。在 ALFWorld 上相对 GRPO 提升 5.7%，在 WebShop 上提升 5.5%。arXiv:2607.04713

2. STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training — Qi et al., ACL 2026. 识别轨迹忽视现象（中间步骤遗忘任务目标），提出归一化熵定位离群步骤与选择性优化机制。在 ALFWorld/WebShop/Search-Augmented QA 上达到 SOTA。arXiv:2607.04963

3. TREK: Distill to Explore, Reinforce to Refine — Xu et al., 2026. 提出蒸馏探索→强化精炼的两阶段推理 RL 训练策略，用蒸馏扩展策略支持后切换到 GRPO 精炼。Qwen3-8B 在 AIME 2025 从 36.9 提升至 40.3。arXiv:2607.05339

4. Procedural Memory Distillation: Online Reflection for Self-Improving Language Models (PMD) — Liu et al., 2026. 跨片段三层程序性记忆蒸馏（原始轨迹→经验记忆→洞察记忆），验证策略-记忆共进化机制的关键性——在 SciKnowEval 各子域上，冻结记忆或冻结策略任一方均落后 PMD 超过 10%。arXiv:2607.01480

5. No Time Like the Present: Agentic Test-Time Training for LLM Agents (aTTT) — Wang et al., 2026. 测试时训练保持智能体长程能力，揭示重复文本-策略漂移权衡：aTTT 通过 token 级重复 n-gram 降权，在 ALFWorld 最高提升 5.0 分（SWE-bench Lite 最高 4.9 分）。arXiv:2607.03441