研究提案 已修订

面向多会话代码智能体的交接感知训练数据工程:从单一会话假设到交接鲁棒性保障

将代码智能体训练从单一会话假设扩展至多会话交接场景,通过交接失败模式诊断、交接感知轨迹合成与对抗性交接场景生成,系统性消除训练数据中的会话连续性偏差

交接债 代码智能体 训练数据工程 多会话RL 上下文传递 多智能体协作 自进化数据

背景与动机

当前问题:单一会话假设的系统性偏差

当前代码智能体的训练与评估几乎无一例外地建立在单一会话假设之上:一个智能体、一个问题、一次不间断运行。SWE-bench、LiveCodeBench、TerminalBench 等主流基准均采用此范式,关注的核心指标是二元化的”是否解决”。

然而,真实软件开发场景中,任务频繁中断、重新分配、审查后继续——由不同智能体或人类接手部分状态的工作是常态而非例外。arXiv:2606.02875(Handoff Debt,2026年6月1日提交)首次形式化了这一被忽视的成本:交接债(Handoff Debt)——继任智能体重建前任已建立但未以可传递形式保留的上下文所付出的重新发现代价。

该研究通过对 75 个源任务生成 181 个交接点、每模型 724 次接手运行的系统性实验,揭示了令人震惊的量化结果:

交接视图步骤减少Prompt Token 减少
仅仓库状态(冷接手)基线基线
原始轨迹~10-15%~15-20%
摘要笔记~15-30%~25-40%
结构化笔记20-59%42-63%

为什么现有方案不够好

  1. 训练数据层面:现有代码智能体训练轨迹(SFT 数据、RL rollout)全部假设单一连续会话,没有一条训练样本包含”中断→交接→继续”的模式。模型从未见过如何从部分状态恢复工作。

  2. 评估层面:Handoff Debt 论文指出,当前基准完全忽略交接成本——即使解决率不变,隐藏的运营成本(Token 消耗、步骤数)在每次交接时显著增长。这导致训练信号与部署需求严重脱节。

  3. 数据工程层面:尽管 Handoff Debt 提出了四种交接视图的分类法并量化了效率差异,但它没有提出任何训练数据工程方案来从数据层面解决交接鲁棒性问题。结构化笔记是手工设计的交接协议,而非从训练中涌现的能力。

  4. ECHO(arXiv:2605.24517)的启示与局限:微软研究院的 ECHO 框架将环境反馈(终端输出)作为密集监督信号,使 TerminalBench-2.0 上 GRPO 的 pass@1 翻倍。这证明了被忽视的交互信号可以作为免费的训练监督,但 ECHO 仍然假设单一会话——环境反馈仅限于同一会话内的动作-观测对,不涉及跨会话的上下文传递。

值得关注的是,2026 年多个生产级代码智能体已开始面临交接问题:OpenHands 的多 Agent 协作模式需要中间状态传递;Devin 的审查-继续循环隐式涉及人类→智能体的交接;Cursor 的多文件编辑会话在中断后依赖上下文恢复。这些实践痛点进一步印证了交接鲁棒性训练的迫切性,但尚未有系统性方案。

  1. 多智能体编排(arXiv:2605.02801)的启示:编排轨迹分析揭示了多智能体协作中的决策模式,但现有工作关注的是协作效率而非交接鲁棒性。

核心思路

HANDOFF-DATA 框架

提出 HANDOFF-DATA(Handoff-Aware Training Data Engineering for Multi-Session Coding Agents)框架,将交接鲁棒性建模为一等训练数据质量信号,从数据层面系统性消除单一会话假设的偏差。

核心主张:代码智能体的交接鲁棒性不应仅靠推理时的交接协议(如结构化笔记)保障,而应通过训练数据工程使模型内在具备从部分状态恢复工作的能力——即在训练分布中包含足够丰富的交接场景,使”从哪里接手、如何继续”成为模型的涌现能力而非外部工程补丁。

与现有工作的关键区别

维度Handoff Debt (2606.02875)ECHO (2605.24517)MUSE-Autoskill (2605.27366)HANDOFF-DATA(本文)
问题定义量化交接成本利用环境反馈技能级记忆演化训练数据中的交接偏差
解决层面推理时交接协议训练目标函数技能库管理训练数据工程
假设单一智能体交接单一连续会话单一智能体自进化多会话、多智能体交接
信号来源人工设计结构化笔记环境观测 Token技能执行记忆交接失败模式诊断

技术路线

阶段一:交接失败模式诊断

将交接债分解为三类可诊断的失败模式,建立形式化的诊断框架。

1.1 上下文重建失败(Context Reconstruction Failure, CRF)

定义:继任智能体无法从前任的部分工作中重建关键决策上下文——“做了什么”和”为什么这样做”。

诊断方法:

  • 在确定性交接点冻结仓库状态,运行继任智能体
  • 提取继任智能体在前 kk 步中的动作序列
  • 与前任智能体在交接点后的”黄金续行”对比
  • 计算上下文重建误差 ECR=1−∣Asucc∩Agold∣∣Agold∣E_{\text{CR}} = 1 - \frac{|A_{\text{succ}} \cap A_{\text{gold}}|}{|A_{\text{gold}}|},其中 AsuccA_{\text{succ}} 为继任者动作集,AgoldA_{\text{gold}} 为黄金续行动作集

失败信号:继任者在前期步骤中重复前任已完成的工作(如重新读取已修改的文件、重新运行已执行的测试),表明未能从仓库状态推断前任意图。

1.2 状态推断失败(State Inference Failure, SIF)

定义:继任智能体无法从仓库状态推断当前任务进展——“做完了什么、还剩什么”。

诊断方法:

  • 构建任务状态图 G=(V,E)G = (V, E),其中 VV 为子任务,EE 为依赖关系
  • 在交接点标注前任已完成的子任务集合 VdoneV_{\text{done}}
  • 计算继任智能体推断的完成集合 V^done\hat{V}_{\text{done}} 与真实集合的差距
  • 状态推断精度 PSI=∣V^done∩Vdone∣∣Vdone∣P_{\text{SI}} = \frac{|\hat{V}_{\text{done}} \cap V_{\text{done}}|}{|V_{\text{done}}|}

失败信号:继任者执行了与已完成子任务冲突的操作(如覆盖已正确修改的代码、回退已引入的依赖),或跳过了关键的前置步骤。

1.3 计划延续失败(Plan Continuation Failure, PCF)

定义:继任智能体无法从前任的部分执行中推断并延续剩余计划——“接下来该做什么”。

诊断方法:

  • 前任智能体在交接点生成隐式计划 P=(s1,s2,…,sn)P = (s_1, s_2, \ldots, s_n)
  • 继任智能体生成计划 P^=(s^1,s^2,…,s^m)\hat{P} = (\hat{s}_1, \hat{s}_2, \ldots, \hat{s}_m)
  • 计算计划对齐度 Align(P,P^)\text{Align}(P, \hat{P})(基于最长公共子序列的归一化编辑距离)
  • 计划延续精度 PPC=Align(P[i:],P^)P_{\text{PC}} = \text{Align}(P[i:], \hat{P}),其中 ii 为交接点在原计划中的位置

失败信号:继任者采取了与原计划方向完全不同的策略,或陷入不必要的探索循环。

阶段二:交接感知轨迹合成

基于诊断结果,合成包含丰富交接场景的训练轨迹。

2.1 确定性交接点注入

从现有 SWE-bench 等基准的单会话轨迹中,自动注入确定性交接点:

  • 里程碑交接:在关键子任务完成边界(如测试通过、文件修改完成)注入交接点
  • 中间态交接:在子任务执行中间注入交接点,模拟”被打断”场景
  • 错误态交接:在前任智能体犯错后注入交接点,测试继任者的纠错能力

对每条原始轨迹 T=(a1,a2,…,an)T = (a_1, a_2, \ldots, a_n),生成多条交接变体:

Thandoff(k)=(a1,…,ak,[HANDOFF],ak+1′,…,am′)T_{\text{handoff}}^{(k)} = (a_1, \ldots, a_k, \text{[HANDOFF]}, a_{k+1}', \ldots, a_m')

其中 ak+1′,…,am′a_{k+1}', \ldots, a_m' 是继任智能体的动作序列(可能与原轨迹不同)。

2.2 交接视图增强

借鉴 Handoff Debt 的四级交接视图分类,为每个交接点生成多粒度交接上下文:

  1. 仓库状态视图(VrepoV_{\text{repo}}):仅包含代码仓库当前状态
  2. 轨迹视图(VtraceV_{\text{trace}}):仓库状态 + 前任原始交互轨迹
  3. 摘要视图(VsummaryV_{\text{summary}}):仓库状态 + LLM 生成交接摘要
  4. 结构化视图(VstructuredV_{\text{structured}}):仓库状态 + 结构化交接文档(已完成/进行中/待办/关键决策/风险点)

通过训练模型在不同交接视图下的条件生成,使模型学习从最小上下文(冷接手)到最丰富上下文(结构化笔记)的全谱系交接能力。

2.3 ECHO 增强的交接轨迹

将 ECHO(arXiv:2605.24517)的环境预测损失引入交接场景。关键创新点:

  • 跨会话环境预测:继任智能体不仅预测当前会话的环境观测,还需预测交接点后的环境状态变化——即”如果我执行动作 aa,环境将如何响应”
  • 交接点环境模型:在交接点处,继任智能体应能从前任的最后环境观测和仓库状态推断当前环境状态(包括已安装的依赖、运行中的进程、临时文件等非持久状态)

混合目标函数:

LHANDOFF-ECHO=LGRPO+λ1Lenv-pred+λ2Lhandoff-reconstruction\mathcal{L}_{\text{HANDOFF-ECHO}} = \mathcal{L}_{\text{GRPO}} + \lambda_1 \mathcal{L}_{\text{env-pred}} + \lambda_2 \mathcal{L}_{\text{handoff-reconstruction}}

其中 Lenv-pred\mathcal{L}_{\text{env-pred}} 为 ECHO 的环境预测损失,Lhandoff-reconstruction\mathcal{L}_{\text{handoff-reconstruction}} 为交接点环境重建损失。

阶段三:对抗性交接场景生成

系统性地生成”最难交接点”,压力测试智能体的交接鲁棒性。

3.1 最差交接点搜索

给定一条成功轨迹,搜索使继任智能体失败率最高的交接点:

k∗=arg⁡max⁡kEsucc[Cost(Thandoff(k))]k^* = \arg\max_k \mathbb{E}_{\text{succ}}[\text{Cost}(T_{\text{handoff}}^{(k)})]

其中 Cost(⋅)\text{Cost}(\cdot) 综合衡量步骤数、Token 消耗和失败率。

通过梯度引导搜索(基于继任智能体在交接点的困惑度或策略熵),高效定位最大脆弱性交接点。

3.2 交接干扰注入

在交接点注入特定类型的干扰,模拟真实场景中的交接恶化因素:

  • 信息衰减:模拟关键信息的逐步丢失(如部分文件被修改覆盖、日志被轮转清除)
  • 状态不一致:模拟仓库状态与预期不符(如其他并行修改引入了冲突)
  • 意图歧义:模拟前任留下的部分工作存在多种合理的完成方向

3.3 对抗性交接课程

按难度递增组织对抗性交接场景:

  1. 简单:里程碑交接 + 结构化视图
  2. 中等:中间态交接 + 摘要视图 + 轻微干扰
  3. 困难:错误态交接 + 仓库状态视图 + 状态不一致
  4. 极端:任意点交接 + 冷接手 + 多重干扰

阶段四:交接鲁棒性-能力共进化闭环

建立训练数据与智能体能力的共进化机制。

4.1 交接鲁棒性评估

定义交接鲁棒性指标(Handoff Robustness Score, HRS):

HRS=1∣K∣∑k∈K(α⋅(1−ECR(k))+β⋅PSI(k)+γ⋅PPC(k))\text{HRS} = \frac{1}{|K|} \sum_{k \in K} \left( \alpha \cdot (1 - E_{\text{CR}}^{(k)}) + \beta \cdot P_{\text{SI}}^{(k)} + \gamma \cdot P_{\text{PC}}^{(k)} \right)

其中 α+β+γ=1\alpha + \beta + \gamma = 1,权重可按应用场景调整。

4.2 诊断驱动的数据策展

每轮训练后:

  1. 在验证集上计算三类失败模式的发生率
  2. 对高失败率模式定向生成更多该类型的交接训练样本
  3. 使用失败模式的梯度信号指导新样本的难度校准

4.3 交接-能力共进化

  • 随着智能体交接能力提升,对抗性交接场景的难度自动上调
  • HRS 阈值动态调整,确保训练数据始终处于能力前沿
  • 保留交接点多样性监控,防止模型在特定交接模式上过拟合

预期成果

定量目标

  1. 交接效率:在 Handoff Debt 基准的冷接手场景下,将继任智能体的交互步骤减少 30%+(超越当前结构化笔记的 20-59% 减少,但无需推理时手工设计交接协议)
  2. Token 效率:减少冷接手场景的 Prompt Token 消耗 35%+(接近结构化笔记的 42-63% 水平,但通过训练内在能力而非外部协议实现)
  3. 解决率保持:交接场景下的任务解决率不低于单会话基线的 90%(当前冷接手解决率显著低于单会话)
  4. HRS 指标:在四类对抗性交接场景上达到 HRS > 0.7(基线约 0.3-0.4)

定性目标

  1. 内在交接能力:模型无需外部结构化交接协议即可从部分状态恢复工作,实现”零协议交接”
  2. 跨模型泛化:HANDOFF-DATA 训练的智能体在与不同架构的前任智能体交接时仍保持鲁棒性
  3. 人机交接适用:训练后的智能体在接手人类工程师的部分工作时同样表现良好

可能的影响

  1. 降低多智能体部署成本:42-63% 的 Token 减少通过训练内在能力实现,无需每次交接时手工编写结构化笔记
  2. 推动基准演进:从单一会话评估转向多会话交接评估,更真实反映部署场景
  3. 连接 ECHO 与 Handoff Debt:将环境反馈利用(ECHO)与交接成本量化(Handoff Debt)统一到训练数据工程框架中
  4. 加速 AI 辅助开发落地:解决”智能体交接”这一被忽视但高影响的部署瓶颈

相关工作

  1. Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks (arXiv:2606.02875, 2026.06) 首次形式化交接债概念,量化四种交接视图的效率差异。本文在此基础上从训练数据工程层面解决交接鲁棒性问题。 https://arxiv.org/abs/2606.02875

  2. ECHO: Terminal Agents Learn World Models for Free (arXiv:2605.24517, 2026.05) 将环境观测 Token 作为密集监督信号,使 TerminalBench-2.0 上 GRPO pass@1 翻倍。本文将 ECHO 的环境预测思想扩展至跨会话交接场景。 https://arxiv.org/abs/2605.24517

  3. MUSE-Autoskill: Memory-Utilizing Skill Evolution for AI Assistants (arXiv:2605.27366, 2026.05) 字节跳动提出的记忆驱动技能进化框架,实现技能的自主创建、储存、评估与改进。本文借鉴其记忆机制,但聚焦于交接上下文而非技能本身。 https://arxiv.org/abs/2605.27366

  4. Autogenesis: A Self-Evolving Agent Protocol (arXiv:2604.15034, 2026.04) 南洋理工/斯坦福/普林斯顿联合提出的自进化智能体协议,实现 Prompt/Tool/Environment/Memory 的可追踪、可回滚、可审计闭环自进化。本文的交接-能力共进化机制受其生命周期管理启发。 https://arxiv.org/abs/2604.15034

  5. SE-GA: Memory-Augmented Self-Evolution for GUI Agents (arXiv:2605.16883, ICML 2026) 天津大学/上海交大提出的分层记忆增强自进化框架,让 GUI 智能体从”静态执行器”进化为”动态学习者”。本文的交接上下文层次化设计借鉴其分层记忆结构。 https://arxiv.org/abs/2605.16883