研究提案 已修订

对抗性工具组合环境合成：面向工具增强推理智能体的闭环训练数据工程

提出一种系统化合成工具组合边界场景的框架，通过建模技能依赖关系和在线对抗性环境生成，解决当前 Agent RL 训练数据在多工具组合推理上的覆盖不足问题

Agent训练数据 工具组合推理 对抗性环境合成 强化学习 数据工程 技能依赖图 闭环训练 奖励可验证

背景与动机

工具增强推理（Tool-Augmented Reasoning）已成为大语言模型智能体能力的核心支柱。从搜索、代码解释器到数据库查询和 API 调用，现代 Agent 系统需要在多步骤推理中灵活组合多种工具来完成任务。然而，当前 Agent RL 训练数据的合成方法面临一个关键瓶颈：工具组合边界（Tool Composition Boundary）上的失败模式被系统性低估。

具体而言，现有方案存在三类不足：

  1. 单工具优化的局限：CoVert（Xu et al., 2026）虽然引入了 oracle-preserving augmentation 来增强工具调用数据的鲁棒性，但其增强策略主要针对单次工具调用的噪声和歧义，而非多工具组合时的决策边界。实验表明，在 BFCL v3 上 CoVert-RL 将准确率从 56.5 提升至 59.9，但在需要 3 次以上工具组合的子集上增益仅为 0.8%（vs. 单工具子集的 4.2%）。

  2. 数据-智能体协同进化的盲区：CoEvolve（Yang et al., 2026, ACL 2026）通过遗忘信号和不确定性信号驱动任务合成，实现了 Agent 与数据的闭环协同进化，但其反馈信号仅刻画”在已有任务类型上的表现退化”，无法识别跨技能组合的新兴失败模式（例如：搜索→代码执行→结果验证的链式组合中，第 2 步的输出格式异常导致第 3 步验证失败）。

  3. 工作流扩展的线性假设：AgenticQwen（Lyu et al., 2026）的 Agentic Flywheel 将线性工作流扩展为多分支行为树，但行为树的分支结构是预定义的，而非从失败模式中自动发现。这导致合成数据覆盖了”已知的组合方式”，却遗漏了”Agent 实际容易出错的组合方式”。

核心问题：如何系统性地合成训练数据，使其精确覆盖 Agent 在多工具组合推理中的失败边界，同时保持奖励信号的可验证性？

核心思路

提出 ACE（Adversarial Composition Environment）框架，一种面向工具组合边界的对抗性环境合成方法，核心创新在于将”工具组合边界”显式建模为一等公民，并通过闭环对抗性合成持续追踪 Agent 的能力前沿。

与现有工作的关键区别

维度CoEvolveAgenticQwenCoVertACE（本提案）
反馈信号来源遗忘/不确定性错误驱动静态增强组合边界失败模式
技能建模隐式（任务级）隐式（工作流级）无显式技能依赖图
数据合成目标修复退化提升难度增强鲁棒性精确打击组合弱点
环境可验证性依赖原始环境依赖原始环境Oracle-preserving组合级 oracle-preserving
课程策略基于退化检测双飞轮独立两阶段固定依赖图感知的自适应课程

ACE 的三要素：

  1. 技能依赖图（Skill Dependency Graph, SDG）：将工具使用技能建模为有向无环图，节点为原子技能（如”搜索查询构造""代码生成""结果解析”），边为组合依赖关系。SDG 不仅刻画先验的组合规则，更通过 on-policy rollout 动态发现新兴的组合失败路径。

  2. 组合边界对抗合成（Composition Boundary Adversarial Synthesis）：基于 SDG 和 rollout 失败分析，识别”近成功组合”（Agent 完成了 n-1 步但第 n 步失败的场景），以此为种子合成对抗性环境——在保持 oracle 可验证的前提下，精确增加组合边界上的决策难度。

  3. 依赖图感知课程（Dependency-Aware Curriculum）：根据 SDG 的拓扑排序和 Agent 当前能力剖面，自适应调整合成数据的技能组合复杂度，确保课程进度尊重技能间的依赖关系，避免”跳跃式”增加难度导致的训练崩溃。

技术路线

第一阶段：技能依赖图构建（2-3 个月）

  1. 原子技能定义与标注：在现有工具使用基准（BFCL v3、ACEBench、AppWorld）上，对成功/失败的 rollout 轨迹进行技能标注。定义约 20-30 个原子技能类别，涵盖：

    • 信息获取类（搜索查询构造、API 参数填充、结果提取）
    • 计算推理类（代码生成、表达式求值、格式转换）
    • 验证判断类（结果校验、一致性检查、异常检测）

  2. 依赖关系挖掘：

    • 先验依赖：基于工具 API 规格自动提取（如代码执行器的输入需要搜索结果的格式匹配）
    • 经验依赖：从大规模 rollout 轨迹中挖掘共现模式，使用条件概率和互信息识别强依赖对
    • 失败传播分析：分析失败在依赖链上的传播模式，构建”脆弱边”标注

  3. SDG 动态更新机制：设计增量更新算法，在训练过程中持续将新发现的组合失败模式融入 SDG。

第二阶段：组合边界对抗合成（2-3 个月）

  1. 近成功组合识别：

    • 从 on-policy rollout 中提取”近成功”轨迹：完成度 ≥ 70% 但最终未通过验证的轨迹
    • 对失败步骤进行归因分析：是工具选择错误、参数构造错误、还是中间结果解析错误

  2. 对抗性环境合成策略：

    • 歧义注入：在组合边界引入语义等价但形式不同的中间结果，迫使 Agent 正确处理格式变异
    • 干扰工具引入：在关键决策节点增加功能相似但方向错误的候选工具，测试 Agent 的工具选择判别力
    • 级联失败模拟：在上游工具返回部分正确结果时，测试 Agent 的异常检测和恢复能力
    • 组合深度递增：从 2-tool 组合逐步扩展到 5-tool 组合，每层保持 oracle 可验证

  3. 组合级 Oracle-Preserving 保证：

    • 扩展 CoVert 的 oracle-preserving 机制：不仅保持单步 oracle 调用和最终答案的 ground truth，还保持组合中间状态的语义不变性
    • 设计组合级参考匹配（Composition-level Reference Matching）：将多步工具调用的期望序列和中间状态作为可验证的奖励信号来源
    • 对于不可避免的语义模糊情况，设计轻量级 Judge 辅助验证

第三阶段：依赖图感知课程训练（2 个月）

  1. 能力剖面评估：在 SDG 的每个节点上维护 Agent 的即时成功率，形成多维度能力向量

  2. 自适应课程调度：

    • 基于 SDG 拓扑排序确定技能解锁顺序
    • 当某技能成功率超过阈值 θ（如 70%）时，解锁依赖该技能的组合训练
    • 当组合成功率低于阈值 φ（如 40%）时，回溯到前置技能进行强化
    • 引入”跨技能迁移”奖励：鼓励 Agent 在新组合中复用已掌握的技能模式

  3. 训练稳定性保障：

    • 组合复杂度渐增：避免一次性引入过多工具组合导致的奖励稀疏
    • 经验回放池分层：按组合复杂度分层采样，保证低复杂度样本不被高复杂度样本淹没

第四阶段：实验验证（1-2 个月）

  1. 基准测试：BFCL v3、ACEBench、AppWorld、MLE-bench-lite
  2. 消融实验：SDG vs. 无图、对抗合成 vs. 随机增强、自适应课程 vs. 固定课程
  3. 泛化测试：在未见过的工具组合和未见过的 Agent 架构上测试

关键技术挑战

  1. 技能标注的规模化：人工标注 20-30 个技能类别在大规模轨迹上成本高昂，需要设计 LLM 辅助的半自动标注流程，并通过一致性检验控制标注质量。

  2. 组合级 Oracle 的构建：多步工具组合的中间状态 oracle 比单步 oracle 更难定义，特别是在搜索等非确定性工具的输出上。需要设计”弱 oracle”机制：对确定性步骤使用精确匹配，对非确定性步骤使用语义等价检验。

  3. 对抗合成的多样性-难度平衡：过强的对抗性可能导致训练数据偏离真实分布，使 Agent 过拟合到合成场景。需要引入分布约束，确保合成数据在统计特性上与真实任务分布保持一致。

  4. 课程调度的稳定性：自适应课程可能导致训练不稳定（如频繁切换技能焦点），需要引入课程动量机制和最小训练轮次约束。

预期成果

定量目标

  1. 基准性能提升：在 BFCL v3 多工具子集（≥3 工具调用）上，相比 CoVert-RL baseline 提升至少 5 个百分点绝对增益；在 AppWorld 上相比 CoEvolve baseline 提升至少 3 个百分点。
  2. 组合泛化能力：在 5-tool 以上组合任务上的成功率相比 SFT+RL baseline 提升 50% 相对增益。
  3. 数据效率：在同等性能目标下，所需合成训练数据量减少 30%（归功于精确的边界靶向合成）。
  4. 跨架构迁移：在 Qwen2.5-7B 上训练的 ACE 合成数据，直接用于训练 Llama-4-8B 时，仍能获得 70% 以上的性能增益保留率。

定性目标

  1. 可解释的失败诊断：SDG 提供 Agent 能力的结构化诊断视图，可直观展示”哪些技能组合是薄弱环节”。
  2. 可复用的技能依赖知识：SDG 作为领域知识资产，可在不同 Agent 训练任务间迁移和复用。
  3. 通用的合成范式：ACE 框架不依赖特定工具集，可扩展到新的工具类型和领域。

可能的影响

  1. 推动 Agent RL 从”数据驱动”到”诊断驱动”的范式转变：当前 Agent RL 训练更多是”堆数据”的暴力方式，ACE 证明精准诊断+靶向合成可以更高效地提升性能。
  2. 为 Agent 安全性提供新工具：对抗性组合合成天然地覆盖了工具组合中的边缘情况，有助于发现和修复潜在的安全风险。
  3. 促进数据工程与 Agent 训练的深度整合：ACE 的闭环设计使数据工程不再是训练前的离线步骤，而是训练过程中持续运行的在线组件。

相关工作

  1. CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution (Yang et al., 2026, ACL 2026)

    • 首次提出 Agent-数据协同进化框架，通过遗忘和不确定性信号驱动任务合成
    • arXiv:2604.15840
    • 与本提案的关系：CoEvolve 是 ACE 的直接前驱工作，ACE 将其反馈信号从”任务级退化”扩展到”组合级失败模式”

  2. CoVERT: Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning (Xu et al., 2026)

    • 提出 oracle-preserving augmentation，首次为 Agent RL 提供了可验证的工具使用合成数据
    • arXiv:2604.09813
    • 与本提案的关系：ACE 继承并扩展了 CoVert 的 oracle-preserving 机制到组合级别

  3. AgenticQwen: Training Small Agentic Language Models with Dual Data Flywheels for Industrial-Scale Tool Use (Lyu et al., 2026)

    • 双数据飞轮（推理飞轮+智能体飞轮）实现小模型工业级工具使用
    • arXiv:2604.21590
    • 与本提案的关系：AgenticQwen 的行为树扩展是 ACE 对抗性合成的启发来源，但 ACE 从失败模式自动发现组合结构

  4. SandMLE: Synthetic Sandbox for Training Machine Learning Engineering Agents (Zhou et al., 2026)

    • 通过微缩数据集实现 MLE 任务的 13× 执行加速，首次使 MLE Agent 的 on-policy RL 可行
    • arXiv:2604.04872
    • 与本提案的关系：SandMLE 的环境合成思路启发了 ACE 的对抗性环境设计，ACE 将其从 MLE 领域泛化到通用工具组合场景

  5. Improving LLM Code Reasoning via Semantic Equivalence Self-Play with Formal Verification (Miceli Barone & Poon, 2026)

    • 利用形式化验证指导代码推理的自博弈训练，为语义等价性提供可靠信号
    • arXiv:2604.17010
    • 与本提案的关系：形式化验证的思路启发了 ACE 中组合级 oracle-preserving 的设计，特别是”语义等价但形式不同”的对抗性增强策略

关联内容

研究 🔗 相关
Agentic Coding 数据合成新范式：从轨迹采集到自主进化的数据飞轮
GPT-5.5 在 Terminal-Bench 2.0 上 82.7% 的成绩标志着 Agentic Coding 进入新阶段，但训练数据极度稀缺。本提案提出一套从轨迹采集到自主进化的数据飞轮体系，解决当前 Agentic Coding 数据合成的根本性瓶颈。
研究 🔗 相关
[WIP] 工具调用失败模式：被忽视的 Agent 鲁棒性训练数据
本文提出将工具调用失败模式作为独立研究对象，系统化构建 Agent 鲁棒性训练数据的研究方案。从失败类型分类、日志挖掘、数据格式设计到评测体系，提供一套可操作的完整路径。
研究 🔗 相关
SkillWeave: Skill 图谱驱动的通用 Agent 训练数据合成
从 Terminal-Bench 种子方案出发，批判性审视'Skill 图谱→采样反推任务→轨迹生成→训练'的通用数据飞轮思路，提出改进后的 SkillWeave 研究框架