面向沙箱原生智能体RL的反事实分支信用分解训练数据工程：从轨迹级奖励盲区到步骤级反事实优势驱动的数据策展

背景与动机

多轮智能体强化学习（Agent RL）的训练数据面临一个根本性瓶颈——反事实信用稀疏（Counterfactual Credit Sparsity）：轨迹级结果奖励在所有决策步骤上均匀分配，无法区分哪些步骤是”真正决定性的决策”（skillful decisions），哪些是”运气驱动的偶然成功”（lucky outcomes），哪些是”环境强制的无选择步骤”（forced steps）。这一信用稀疏问题导致三个具体退化模式：

退化一：决策-影响力脱节（Decision-Actionability Gap, DAG）。在长程智能体轨迹中，关键决策步骤（如选择调用哪个工具、何时终止搜索）对最终结果拥有不成比例的影响力，但轨迹级奖励无法识别这些步骤——成功轨迹中一个决定性的工具调用与一个常规的格式化步骤获得相同的正奖励，失败轨迹中一个致命错误同样与所有其他步骤分担负奖励。模型因此无法学习”哪些决策真正重要”。

退化二：反事实盲优势（Counterfactual-Blind Advantage, CBA）。当智能体在某个步骤选择了动作 $a_t$ 并最终获得正奖励时，标准方法假设 $a_t$ 是”好的”。但如果没有反事实信息——“如果选择其他动作会怎样”——我们无法判断这个成功是源于技能还是运气。一个低质量动作在幸运的环境上下文中可能恰好成功，而一个高质量动作在不利条件下可能失败。反事实盲优势导致训练数据中的成功信号被错误归因。

退化三：分支不变步骤累积（Branch-Invariant Step Accumulation, BISA）。沙箱环境中大量步骤是”环境强制”的——无论智能体选择什么动作，环境状态转移是确定性的或高度约束的。这些步骤在反事实意义上是”不变的”（任何动作都导致相同结果），但它们占据了轨迹的相当比例，稀释了真正决策步骤的信用信号。

现有方案为何不够好？三条路线各有盲区：

• 熵塑形（Entropy Shaping）：CPO（arXiv:2607.14614）证明熵无法区分”有用的不确定性”与”有害的困惑”——一个步骤可能因为模型困惑而高熵，也可能因为正在做出重要决策而高熵，两者在熵指标上不可区分。
• 过程奖励模型（PRM）：需要昂贵的步骤级标注，且在多轮交互场景中标注定义本身模糊——同一个步骤在不同上下文中可能是正确的或错误的。
• 轨迹级基线减除（GRPO/RLOO）：BPO（arXiv:2607.14171）已证明轨迹级基线的方差高于步骤级兄弟基线，但BPO仅将分支用于方差缩减，未将其作为步骤级信用分解的信号源。

核心思路

我们提出 CFAD-DATA（Counterfactual Forced Advantage Decomposition Data Engineering）框架，核心创新是将 CPO 的对比优势塑形从单轮 RLVR 扩展至多轮沙箱智能体 RL，利用 BPO 的沙箱分支能力构造步骤级反事实参考分布，以反事实优势作为训练数据质量的一等信号。

关键区别一：从”条件参考分布”到”分支反事实分布”。CPO 在单轮 RLVR 中通过将正确答案条件化构造参考分布 $P_{\text{ref}}(y_t | y_{<t}, \text{answer})$，但在多轮智能体 RL 中不存在单一的”正确答案”可以条件化。CFAD-DATA 利用沙箱的可快照-可恢复特性：在步骤 $t$，从沙箱快照 $s_t$ 分支 $K$ 个替代动作 $\{a_t^{(k)}\}_{k=1}^K$，收集每个分支的后续轨迹，形成反事实结果分布 $\mathcal{R}_{\text{cf}}(t) = \{R_t^{(k)}\}_{k=1}^K$。该分布替代 CPO 中的条件参考分布，提供”如果选择其他动作会怎样”的反事实基线。

关键区别二：从”方差缩减”到”信用分解”。BPO 使用分支仅为了获得更低的方差优势估计（兄弟基线替代独立基线），分支产生的反事实信息被丢弃。CFAD-DATA 将分支反事实分布本身建模为一等数据质量信号：步骤 $t$ 的反事实优势（Counterfactual Advantage, CA）定义为：

$\text{CA}(t) = R_t^{\text{actual}} - \mathbb{E}_{k \sim \mathcal{R}_{\text{cf}}(t)}[R_t^{(k)}]$

CA > 0 表示智能体的实际选择优于反事实替代方案的平均水平（技能驱动的成功），CA ≈ 0 表示实际选择与替代方案无异（不变步骤或运气驱动的成功），CA < 0 表成功但实际选择劣于反事实替代（纯运气成功）。三类退化模式（DAG/CBA/BISA）在 CA 信号上呈现可区分的画像。

关键区别三：从”事后诊断”到”训练时数据质量信号”。OAT（arXiv:2607.12747）从成功轨迹中学习动力学以识别失败步骤，但仅用于事后诊断。CFAD-DATA 将反事实动力学建模为训练数据策展的先验信号：高 CA 步骤是训练数据中的”信用密集区”，应被优先采样和增强；低 CA 步骤是”信用稀疏区”，应在批次中降权或通过对抗合成填充。

技术路线

第一阶段：反事实信用画像

1. 沙箱快照分支采样：对训练轨迹池中的每条轨迹，在每个决策步骤 $t$（工具调用/动作选择点）创建沙箱快照，分支 $K$ 个替代动作（从策略分布采样或均匀采样），rollout 至终止收集反事实奖励 $\{R_t^{(k)}\}_{k=1}^K$。

2. 步骤级反事实优势计算：对每个步骤计算 CA(t)，并进一步分解为三维画像：

   • 决策影响力（Decision Impact, DI）：$\text{Var}(\mathcal{R}_{\text{cf}}(t))$，衡量该步骤的反事实结果方差——高 DI 表示该步骤是”决策关键点”
   • 技能-运气分离度（Skill-Luck Separability, SLS）：$\text{CA}(t) / \sqrt{\text{Var}(\mathcal{R}_{\text{cf}}(t))}$，衡量实际选择的优越性是否统计显著——高 SLS 表示技能驱动，低 SLS 表示运气驱动
   • 步骤不变性（Step Invariance, SI）：$1 - \text{DI}(t) / \max_{t'} \text{DI}(t')$，衡量该步骤是否”分支不变”——高 SI 表示任何动作都导致相同结果

3. 轨迹级信用密度画像：将步骤级 CA/DI/SLS/SI 聚合为轨迹级度量：

   • 信用密度（Credit Density, CD）：$\frac{1}{T} \sum_{t=1}^T \mathbf{1}[\text{DI}(t) > \theta_{\text{DI}} \land \text{SLS}(t) > \theta_{\text{SLS}}]$，即轨迹中”真正决策关键且技能驱动”的步骤占比
   • 运气占比（Luck Ratio, LR）：$\frac{1}{T} \sum_{t=1}^T \mathbf{1}[\text{SLS}(t) < \theta_{\text{SLS}} \land R_t^{\text{actual}} > 0]$，即成功轨迹中”运气驱动”的步骤占比
   • 不变步骤占比（Invariance Ratio, IR）：$\frac{1}{T} \sum_{t=1}^T \mathbf{1}[\text{SI}(t) > \theta_{\text{SI}}]$，即”分支不变”的步骤占比

第二阶段：反事实信用感知数据策展

1. 信用密度门控采样：优先采样高 CD 轨迹（信用密集区），抑制高 LR 轨迹（运气驱动成功不可复现），实现”反事实校准的采样分布”。

2. 反事实增强合成：针对三类退化设计定向合成策略：

   • DAG 填充：对低 CD 但高 DI 的轨迹（存在关键决策但信用信号被稀释），通过分支反事实合成”近成功”轨迹——在关键决策步骤选择次优动作，保留其余步骤，形成对比训练对
   • CBA 纠正：对高 LR 轨迹，利用分支反事实信息重新标记信用——将运气驱动步骤的优势信号压低，将技能驱动步骤的优势信号增强
   • BISA 压缩：对高 IR 轨迹，识别不变步骤区间并进行因果感知压缩——保留首尾观测和不变区间的摘要，减少不变步骤对信用信号的稀释

3. 反事实信用感知批次构建：确保每个训练批次中：

   • 不同 CA 画像的轨迹均衡分布（高/中/低信用密度轨迹配比）
   • 同一关键决策步骤的不同反事实分支成对出现（便于对比学习）
   • 运气驱动成功轨迹与技能驱动成功轨迹配对（便于模型学习区分）

第三阶段：信用-能力共进化闭环

1. 反事实信用演化监测：随策略更新，监测训练轨迹池的 CD/LR/IR 分布漂移。当 CD 持续下降时，表明策略正在利用不变步骤”作弊”（高 IR + 高通过率 = 策略学会了绕过决策点）；当 LR 持续上升时，表明策略正在过度依赖运气。

2. 分支预算自适应分配：根据信用画像动态调整每个轨迹的分支预算 $K$——对高 DI 步骤分配更多分支（精确定位反事实优势），对高 SI 步骤减少分支（降低计算开销）。

3. 信用阈值共进化：$\theta_{\text{DI}}, \theta_{\text{SLS}}, \theta_{\text{SI}}$ 随策略能力提升动态收紧——初期宽松阈值确保足够训练数据覆盖，后期收紧阈值聚焦于真正的能力前沿。

关键技术挑战

1. 分支计算开销：对每个决策步骤分支 $K$ 个替代动作需要 $K$ 次沙箱 rollout，计算量随轨迹长度线性增长。缓解策略：(a) 仅对高 DI 步骤执行全部分支，低 DI 步骤使用轻量近似（单步奖励预测）；(b) 复用 BPO 的分支架构，使分支 rollout 与策略梯度计算共享计算。

2. 反事实分布偏移：分支替代动作从当前策略采样，策略更新后反事实分布失效。缓解策略：定期刷新高信用轨迹的反事实画像；使用重要性采样权重校正旧画像。

3. CA 信号的方差：有限分支数 $K$ 下，CA 估计存在方差。缓解策略：OAT 的神经控制微分方程（Neural CDE）方法可用于从少量分支推断连续反事实动力学，降低所需分支数。

预期成果

定量目标

1. 在 SWE-Bench-Verified 和 WebShop 上，相比 GRPO/BPO 基线提升 3-5 个百分点的通过率，主要来自”运气驱动成功→技能驱动成功”的转化。
2. 训练数据的信用密度 CD 提升 40-60%（通过 BISA 压缩和 CBA 纠正）。
3. 运气占比 LR 降低 30-50%（通过反事实增强合成和信用密度门控采样）。
4. 分支计算开销不超过标准训练的 1.5×（通过自适应分支预算分配）。

定性目标

1. 建立反事实优势 CA 作为智能体 RL 训练数据质量的一等信号的理论框架，形式化 DAG/CBA/BISA 三类退化模式。
2. 证明 CFAD-DATA 是 CPO（单轮对比优势）在多轮沙箱环境中的自然推广——当轨迹长度 $T=1$ 且环境是确定性验证器时，CA 退化为 CPO 的对比分歧信号。
3. 提供反事实信用画像作为可解释的诊断工具——可视化训练轨迹的”决策热力图”，标识真正的能力瓶颈步骤。

可能的影响

1. 方法论层面：首次将沙箱分支从”方差缩减工具”提升为”信用分解信号源”，开辟了”反事实数据工程”新范式——利用环境的可模拟性主动构造反事实参照，而非被动等待多样化轨迹。
2. 工程层面：为 AReaL 2.0（arXiv:2607.01120）等企业级智能体 RL 系统提供数据质量度量标准——ATDP 协议可扩展包含 CA/DI/SLS/SI 字段，使轨迹数据从”可回放”升级为”可反事实分析”。
3. 安全层面：运气占比 LR 可作为智能体部署的安全指标——高 LR 模型在生产环境中的行为不可预测，应触发人工审查。

相关工作

1. CPO: Beyond Entropy — Correctness-Aware Advantage Shaping via Contrastive Policy Optimization（arXiv:2607.14614, Xu et al., 2026-07-16）— 提出 token 级对比分歧作为 RLVR 优势塑形信号，证明熵无法区分有用不确定性与有害困惑。CFAD-DATA 将 CPO 的”条件参考分布→对比分歧”范式从单轮 RLVR 扩展至多轮沙箱 Agent RL，用分支反事实分布替代条件参考分布。链接：https://arxiv.org/abs/2607.14614

2. BPO: Branching Policy Optimization — Sandbox-Native Language Agent Reinforcement Learning（arXiv:2607.14171, He et al., 2026-07-15）— 提出沙箱原生分支 rollout 拓扑，利用兄弟基线降低优势估计方差。CFAD-DATA 保留 BPO 的分支架构，但将分支信息从方差缩减提升为信用分解的一等信号源。链接：https://arxiv.org/abs/2607.14171

3. Tracing Agentic Failure from the Flow of Success（方法名 Oat；arXiv:2607.12747, Yeh et al., 2026-07-17）— 提出从纯成功轨迹学习神经 CDE 动力学，在推理时识别失败步骤，200-5000× 快于 prompting 基线。CFAD-DATA 将 OAT 的”成功动力学→异常检测”从事后诊断重构为训练时数据质量先验信号。链接：https://arxiv.org/abs/2607.12747

4. AReaL 2.0: Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents（arXiv:2607.01120, Yan et al., 2026-07-02）— 定义 ATDP 轨迹数据协议和企业级智能体自进化系统三支柱。CFAD-DATA 的 CA/DI/SLS/SI 字段可作为 ATDP 的扩展属性，使轨迹数据具备反事实可分析性。链接：https://arxiv.org/abs/2607.01120

5. Generative Compilation: On-the-Fly Compiler Feedback as AI Generates Code（arXiv:2607.13921, Mündler-Sasahara et al., 2026-07-16）— 提出 sealor 机制将部分程序转化为可编译完整程序，实现生成时实时编译器反馈。CFAD-DATA 的分支反事实可与生成时反馈结合——在代码生成步骤，编译器反馈作为低成本的步骤级信号补充分支反事实。链接：https://arxiv.org/abs/2607.13921