SkillWeave: Skill 图谱驱动的通用 Agent 训练数据合成
从 Terminal-Bench 种子方案出发，批判性审视'Skill 图谱→采样反推任务→轨迹生成→训练'的通用数据飞轮思路，提出改进后的 SkillWeave 研究框架
SkillWeave: Skill 图谱驱动的通用 Agent 训练数据合成
研究提案 · 基于对 Terminal-Bench 种子方案的批判性分析和广泛文献调研
一、原始思路回顾
1.1 Terminal-Bench 种子方案
此前的 Terminal-Bench 数据合成方案 以 ClawHub 的 3,000+ Agent Skills 为种子，通过「能力域映射 → 任务生成 → 轨迹合成 → 质量过滤」的管道，为终端 Agent 生成 CPT/SFT/RL 三阶段训练数据。
1.2 扩展思路
核心想法：不局限于终端任务，将 Skills 视为一个结构化图谱，通过图采样反推生成覆盖方方面面的任务，让 Agent 自然利用 Skills 生成执行轨迹 + 最终结果，作为中训练数据。
一句话概括：Skill Graph × Inverse Task Generation × Natural Trajectory Collection → Universal Training Data Flywheel
这本质上是在问一个很深刻的问题：能不能把 Agent 的能力边界（Skills）当作训练数据的生成函数？
二、批判性分析：六个薄弱点
✅ 做对的地方
- 结构化种子优于随机种子 — Skills 自带结构信息（输入/输出类型、前置依赖、使用场景），ASTRA（贝壳, 2026.01）已验证”工具图拓扑 → 任务生成”的可行性
- 天然可验证性 — Skill 执行有明确的成功/失败判断，为 RL 提供天然奖励信号
- 飞轮效应可能性 — Memento-Skills（2026.03）的”Agent 设计 Agent”思路已验证 Skill 自进化路径
❌ 六个关键薄弱点
薄弱点 1：反推任务的”逆问题”困难
从 Skill 图谱采样一组节点，反推”什么真实任务需要这些 Skills”本质上是逆问题（Inverse Problem）。不是所有 Skill 组合都对应有意义的真实任务。例如随机采样到 {Spotify 播放器, K8s 集群管理, PDF 处理}，几乎不可能构造合理场景。
薄弱点 2：任务自然性鸿沟（Naturalness Gap）
LLM 生成的合成任务往往不像真人会问的问题。ToolBench（ICLR’24）的分析表明，合成 query 与真实 query 的 KL 散度在 0.3-0.6 之间，足以导致真实场景性能下降 15-25%。
薄弱点 3：Skill 覆盖度 ≠ 能力覆盖度
ClawHub 3,000+ Skills 中 DevOps/K8s 类占 ~40%，开发工具占 ~25%，通用工具仅 ~10%，其他领域 <5%。直接采样会导致严重偏倚。
薄弱点 4：轨迹质量的”垃圾进垃圾出”风险
全用强模型太贵（每轮 $7,500），全用弱模型质量不足。
薄弱点 5：缺少闭环验证机制
线性管道无法从训练效果反哺到数据生成。
薄弱点 6：评估基准缺失
没有一个现成基准能全面衡量通用 Agent 能力。
三、相关工作全景
| 系统 | 核心贡献 | 验证了什么 | 局限 |
|---|---|---|---|
| ASTRA (贝壳, 2026.01) | 工具图拓扑 → 轨迹+环境合成 → SFT+RL | 图结构驱动的任务生成可行 | 仅限 function calling |
| Memento-Skills (2026.03) | Agent 自主设计 Skill，读写反思学习 | Skill 自进化闭环可行 | 推理时学习，未用于数据生成 |
| APIGen (Salesforce, 2024) | 3,673 API → 三层验证 → 60K 数据 → 7B 超 GPT-4 | 少量高质数据 > 大量低质数据 | 单步函数调用 |
| ToolBench (OpenBMB, ICLR’24) | 16,464 API → DFSDT 树搜索 → 126K 轨迹 | 大规模 API 图谱的训练数据可行 | 合成 query 不自然 |
| TermiGen (UCSB, 2026) | 420+ CLI → 3,500 Docker → 纠错轨迹 | 终端纠错轨迹有效 | 仅终端操作 |
| AgentTrek (HKU, 2024) | 网络教程 → 引导重放 → GUI 轨迹 | 教程引导优于自由探索 | 仅 GUI Agent |
| Synthesize-on-Graph (2025) | 知识图谱游走 → 跨文档合成 → CPT 增强 | 图游走增强数据多样性 | 非 Agent 轨迹 |
| Voyager (NVIDIA, 2023) | Skill Library + 自动课程 → 开放世界 | Skill 组合+课程学习可行 | Minecraft 特定 |
关键观察：每个系统都验证了一个子问题，但没有一个完整实现”Skill 图谱 → 反推任务 → 自然轨迹 → 训练数据飞轮”。ASTRA 最接近，但其图是工具调用 DAG，非通用 Skill 能力图。这是本提案的机会空间。
四、改进提案：SkillWeave 框架
针对六个薄弱点，提出三个核心改进：
改进 1：语义约束图谱（SCG）替代随机采样
构建 4 层异构图（原子工具 → 基础 Skill → 组合能力 → 场景模板），5 种语义边（DEPENDS_ON / ENHANCES / CONFLICTS / CO_OCCURS / REQUIRES_CONTEXT）。图游走受场景约束引导，有效搜索空间压缩 3-4 个数量级。
改进 2：锚定式任务生成
三策略混合（4:4:2 比例）：
- 策略 A（场景驱动）：从场景模板展开到具体 Skills，保证任务有真实场景根基
- 策略 B（Query 锚定）：从 StackOverflow/GitHub Issues 真实 query 出发，用 SCG 补全隐含 Skill 需求
- 策略 C（能力组合）：受约束的随机游走，刻意构造跨域组合任务
改进 3：训练信号反馈闭环
每轮训练后评估模型，找出薄弱能力维度 → 指导下一轮数据生成倾斜。保留 30% 随机回放缓冲区防止灾难性遗忘。
五、详细技术方案
5.1 多保真度轨迹引擎
| 层级 | 模型 | 用途 | 成本 | 产出占比 |
|---|---|---|---|---|
| Lo-Fi | Qwen2.5-7B / Llama-3-8B | 大规模初筛 | $0.01/条 | 70% |
| Mid-Fi | Qwen2.5-32B / DeepSeek-R1 | 纠错轨迹 | $0.08/条 | 20% |
| Hi-Fi | GPT-4o / Claude-4 | 专家轨迹 + 质量验证 | $0.50/条 | 10% |
15,000 条轨迹总成本 ~$1,095/轮（vs 全用 GPT-4o 的 $7,500/轮），降低 85%。
5.2 四层质量保证
- 执行验证（Hard Gate）— Docker/沙箱实际执行
- 语义一致性验证 — LLM 判断推理逻辑自洽性
- 难度标定 — 多模型尝试同一任务，按通过率分布标定
- 分布感知采样 — 确保各能力维度均衡分布
六、四个核心创新点
| # | 创新点 | 解决的问题 | 对比现有最佳 |
|---|---|---|---|
| C1 | 语义能力图 SCG（4 层异构图 + 5 种语义边） | 随机组合无意义 | ASTRA 仅有工具调用 DAG |
| C2 | 锚定式任务生成（三策略混合） | 合成任务不自然 | ToolBench 纯 LLM 生成 |
| C3 | 多保真度轨迹引擎（弱-中-强分层 + 纠错轨迹） | 成本与质量权衡 | TermiGen 仅两层 |
| C4 | 训练信号反馈闭环 + 分布感知采样 | 线性管道无法自我修正 | 现有方案均为单向管道 |
七、实验设计
评估基准
| 基准 | 测评能力 | 指标 |
|---|---|---|
| Terminal-Bench 2.0 | 终端操作 | pass@1 |
| SWE-bench Verified | 代码修复 | resolve rate |
| BFCL-V3-MT | 工具调用 | accuracy |
| GAIA | 通用 Agent | accuracy |
| τ-bench | 客服/零售 Agent | task success |
| SkillWeave-Bench（自建） | Skill 组合能力 | pass@1 + efficiency |
消融实验
5 组消融分别验证 SCG、锚定生成、多保真度、反馈闭环、策略比例的贡献。
八、实施路线图
| 阶段 | 时间 | 关键产出 |
|---|---|---|
| P0: SCG 构建 | Week 1-3 | 3,000+ Skill 节点 + 10K+ 边 + 50K 真实 Query |
| P1: 任务生成 | Week 4-6 | 3,000+ 任务 + Docker 环境 |
| P2: 轨迹合成 R1 | Week 7-10 | 15,000 条多保真度轨迹 |
| P3: SFT 训练 | Week 11-12 | SkillWeave-32B-SFT v1 |
| P4: 反馈闭环 R2 | Week 13-15 | 针对性增量数据 + 重训练 |
| P5: RL 训练 | Week 16-18 | SkillWeave-32B-RL v1 |
| P6: 论文写作 | Week 19-20 | 完整论文 + 开源 |
总时间：~20 周（5 个月）
九、对数据工作的六大启示
- Skill 即数据生成函数 — 将工具文档、SOP、playbook 视为训练数据种子
- 图结构 > 列表 — 能力间的关系比各自描述更有价值
- 合成数据质量上限由验证决定 — APIGen 用 60K 严格验证数据训练 7B 超 GPT-4
- 飞轮的前提是闭环 — 缺少自动化生成/程序化验证/效果反馈中的任一条件，就只是管道不是飞轮
- 纠错轨迹是最有价值的训练信号 — 刻意包含失败路径，而非只保留成功样本
- 通用 Agent 数据 ≈ AI 的课程表 — 本质上是在设计 AI 的教育体系
参考文献
- Tian et al. ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas. arXiv:2601.21558, 2026.
- Zhou et al. Memento-Skills: Let Agents Design Agents. arXiv:2603.18743, 2026.
- Liu et al. APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets. arXiv:2406.18518, 2024.
- Qin et al. ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. ICLR 2024 Spotlight.
- Merrill et al. Terminal-Bench 2.0. arXiv:2601.11868, 2026.
- UCSB. TermiGen: Terminal Agent Training Framework. GitHub, 2026.
- Xu et al. AgentTrek: Agent Trajectory Synthesis via Guiding Replay. arXiv:2412.09605, 2024.
- Ren et al. Synthesize-on-Graph: Knowledgeable Synthetic Data Generation. arXiv:2505.00979, 2025.
- Wang et al. Voyager: An Open-Ended Embodied Agent with LLMs. NeurIPS 2023.
- Goldie et al. SWiRL: Step-wise Reinforcement Learning. arXiv:2504.04736, 2025.
- Agentica/Berkeley. DeepSWE: Pure RL for Coding Agents. GitHub, 2025.
- Lu et al. The AI Scientist. Nature, 2026.
- Wang et al. ProductResearch: Multi-Agent Trajectory Distillation. arXiv:2602.23716, 2026.