研究提案已修订

面向长程代码智能体的漂移-多样性联合校准训练数据工程

统一解决RLVR训练中智能体漂移与多样性坍缩的对抗性轨迹数据工程框架

2026年5月10日 RLVR 智能体漂移多样性坍缩代码生成奖励校准过程监督训练数据工程

背景与动机

强化学习与可验证奖励（RLVR）已成为提升大语言模型推理与代码生成能力的主流训练范式，但近期一系列工作揭示了该范式存在多个正交的失败模式，且现有方案仅能孤立地缓解个别问题：

多样性坍缩：UCPO（Lochab et al., 2026）从理论上证明，GRPO 等常见 RLVR 目标对正确解之间的概率质量分配是漠视的，导致训练动态自我强化地将概率集中到正确输出的狭窄子集，抑制其他有效解。在 AIME24 上，这种坍缩使 Pass@64 相对基础模型退化高达 10%。

智能体漂移：TACT（Sui et al., 2026）发现在长程软件工程任务中，代码智能体存在两类系统性行为退化——过度思考（反复推理已知信息）与过度行动（不顾观测盲目调用工具），且这两种漂移模式在残差流中沿两条线性可分的「漂移轴」分布（AUC ≈ 0.9）。TACT 在测试时通过激活转向纠正漂移，但未从训练数据层面预防漂移的发生。

奖励错校准：Pass-Rate Reward（Li et al., 2026）系统性地证明，在无评论家的 RL 中，测试用例通过率作为代理奖励虽然比二元奖励更密集，但诱导的梯度更新并不一致地向全通过解移动——部分通过的解在组内产生冲突的梯度方向导致相互抵消。这揭示了代理奖励与最终目标之间的根本性错位。

推理不忠实：TraceLift（Han et al., 2026）指出，仅依赖最终答案正确性无法保证推理轨迹的忠实性与可用性——模型可能「因错而正」，强化产生捷径的轨迹。他们提出执行器锚定奖励，将推理质量与下游消费者的实际提升挂钩。

上述四个问题并非独立：多样性坍缩使模型丧失纠正漂移的备选推理策略；漂移加剧奖励错校准的梯度冲突；不忠实的推理使漂移检测更加困难。然而，现有工作各自独立地处理这些问题，缺乏统一的数据工程框架来联合校准。

核心思路

我们提出 DRIFT-AWARE（Drift-Responsive Inference-Fidelity Training with Aware-weighted Sequential Engineering）框架，核心思想是：将漂移轴感知、多样性保持与执行器锚定奖励统一到训练轨迹数据的构造与优化中，使得从数据层面预防漂移、保持多样性、校准奖励三者协同而非各自为政。

与现有工作的关键区别：

从测试时纠正到训练时预防：TACT 在推理时通过激活转向纠正漂移，我们则利用漂移轴的线性可分性，在训练数据中显式构造覆盖校准-漂移边界的轨迹对，使模型在训练阶段即学会识别并回避漂移区域。
从独立优化到联合校准：UCPO 仅关注正确解内的多样性保持，TraceLift 仅关注推理轨迹的可用性，Pass-Rate Reward 仅诊断奖励错校准。我们将三者统一为漂移感知的奖励设计——奖励不仅要求正确性和多样性，还要求轨迹在校准区域内且对下游消费者有用。
从静态数据到漂移-能力共进化：借鉴对抗性训练思想，训练数据的漂移边界随模型能力提升而动态收紧，形成「能力提升→漂移边界重定位→更精细训练数据」的共进化闭环。

技术路线

阶段一：漂移轴探针与轨迹空间刻画

漂移轴提取：借鉴 TACT 的方法，在基准代码智能体上收集长程轨迹，标注每一步为校准/过度思考/过度行动三类，提取残差流中的两条漂移轴 $\mathbf{d}_{\text{think}}$ 和 $\mathbf{d}_{\text{act}}$ 。
轨迹空间映射：将训练轨迹池中每条轨迹的中间步骤投影到漂移轴上，构建「漂移地形图」——识别哪些任务类型、轨迹长度、工具组合下漂移最为集中。
关键发现验证：验证假设——漂移轴在不同规模的代码智能体间是否可迁移？相同架构不同检查点间漂移轴的余弦相似度如何？这决定了后续数据合成的迁移性。

阶段二：漂移边界对抗性轨迹合成

近漂移轨迹生成：在漂移地形图中识别校准与漂移的决策边界，通过以下方式合成边界轨迹：
- 模板感知注入（借鉴 Controllable Process Data 的可控错误注入）：在正确推理链的中间步骤注入微小扰动，使轨迹恰好处于漂移边界
- 反事实分支：对同一问题生成一条校准轨迹和一条刚进入漂移区域的轨迹，形成配对训练数据
- 恢复轨迹：合成从漂移状态恢复到校准状态的轨迹段，教会模型自我纠正
轨迹一致性验证：对合成轨迹进行符号重算验证（借鉴 Controllable Process Data 的可验证框架），确保注入的漂移在逻辑上是一致的——即轨迹确实处于「刚要漂移但尚未完全漂移」的状态。

阶段三：漂移感知的多目标奖励设计

执行器锚定奖励：借鉴 TraceLift 的框架，将推理轨迹视为可消费的中间制品，奖励信号为 $R = R_{\text{rubric}} \times \Delta_{\text{executor}}$ ，同时加入漂移维度。
漂移校准项：在奖励中增加漂移轴投影惩罚项——对投影到漂移轴上的激活施加负奖励，使模型在训练时即学会回避漂移区域： $R_{\text{drift}} = -\lambda_1 \cdot \text{proj}(\mathbf{h}, \mathbf{d}_{\text{think}}) - \lambda_2 \cdot \text{proj}(\mathbf{h}, \mathbf{d}_{\text{act}})$
条件均匀性惩罚：借鉴 UCPO 的理论分析，在正确解的策略分布上增加条件均匀性惩罚，但将其扩展为漂移感知的条件均匀性——不仅要求正确解间概率均匀，还要求各正确解在校准空间中均匀分布，避免所有正确解集中在漂移轴附近。
多目标统一：最终奖励为： $R_{\text{total}} = \alpha \cdot R_{\text{executor}} + \beta \cdot R_{\text{drift}} + \gamma \cdot R_{\text{uniform}}$ 其中超参数 $\alpha, \beta, \gamma$ 通过验证集上的 Pareto 优化确定。

阶段四：漂移-能力共进化闭环

周期性漂移轴重提取：每隔 $N$ 步训练，重新提取当前模型检查点的漂移轴，检测漂移边界是否偏移。
动态课程：随模型能力提升，逐步收紧近漂移轨迹的边界——初始阶段生成明显的漂移-校准配对，后期生成更精细的边界轨迹。
停止条件：当漂移轴在校准方向上的投影分布的 95% 分位数低于阈值时，认为模型已学会回避漂移。

关键技术挑战

漂移轴的跨模型迁移性：不同架构模型的漂移轴可能不兼容，需要研究漂移轴的归一化与对齐方法
近漂移轨迹的验证困难：如何确保合成的近漂移轨迹确实处于漂移边界而非随机噪声
多目标奖励的平衡：执行器锚定、漂移校准、条件均匀性三个目标可能冲突，需要仔细调整权重
计算开销：周期性漂移轴重提取和轨迹合成显著增加训练成本，需要研究高效的近似方法

预期成果

定量目标

在 SWE-bench Verified 上，相较 GRPO 基线，Pass@1 提升 3-5pp，Pass@64 提升 8-12pp
在 Terminal-Bench 2.0 上，步骤效率（steps-to-resolve）降低 20-30%
轨迹漂移率（过度思考+过度行动步骤占比）降低 40% 以上
正确解内的推理多样性（方程级/路径级）提升 30% 以上

定性目标

建立漂移轴可迁移性的实证基准，为后续研究提供方法论
证明漂移-多样性联合校准优于分别独立处理的理论与实证依据
开源完整的漂移感知训练数据合成与评估工具链

可能的影响

本框架若成功，将从训练数据层面根本性地解决长程代码智能体的漂移问题——不再依赖测试时的激活转向或提示工程修补，而是让模型在训练中即内化对漂移的规避能力。更广泛地，DRIFT-AWARE 提供了一种将模型内部表征的可解释性发现（漂移轴）转化为训练信号的方法论范式，可推广至其他需要行为校准的智能体领域。