Agent 数据建设深度研究报告

覆盖预训练、中训练（Continual Pre-training）、后训练（SFT + RL）全阶段 涵盖 Code Agent、Tool-Use Agent、Search Agent、GUI Agent、多模态 Agent 五大类型 2026 年 3 月 · 基于 50+ 篇核心论文和业界实践整理

---

目录

1. 总体框架：Agent 数据的三阶段范式
2. 预训练阶段：植入 Agent 基因
3. 中训练阶段（Agentic CPT）：Agent 能力的桥梁
4. 后训练阶段 — SFT：轨迹数据构建
5. 后训练阶段 — RL：奖励与环境设计
6. Code Agent 数据建设
7. Tool-Use Agent 数据建设
8. Search Agent 数据建设
9. GUI Agent 数据建设
10. 多模态 Agent 数据建设
11. 开源数据集与资源汇总
12. 方法论总结与实践建议

---

1. 总体框架

1.1 Agent 数据的核心范式

Agent 数据建设正在从”单阶段微调”走向”全阶段注入”的范式。业界的共识逐渐清晰：

┌─────────────────────────────────────────────────────────┐
│                    Agent 数据三阶段范式                     │
├─────────────┬─────────────────┬─────────────────────────┤
│  预训练       │  中训练 (CPT)     │  后训练 (SFT + RL)       │
├─────────────┼─────────────────┼─────────────────────────┤
│ • API 文档    │ • Agent 轨迹语料  │ SFT:                    │
│ • 工具描述    │ • 交互式代码      │ • 人工/合成轨迹          │
│ • 多轮对话    │ • 函数调用日志    │ • 反向构建指令            │
│ • 代码-NL 对  │ • 环境反馈序列    │ RL:                     │
│ • 结构化数据  │                  │ • 环境交互奖励            │
│              │                  │ • 过程/结果奖励模型       │
│              │                  │ • GRPO/PPO 在线优化      │
└─────────────┴─────────────────┴─────────────────────────┘

1.2 为什么需要全阶段数据？

核心矛盾：Agentic CPT (2509.13310) 论文明确指出——当前后训练方法基于通用基础模型构建，但 Agent 任务要求模型同时学习多样化的 Agent 行为并与专家演示对齐，产生了根本性的优化冲突。

这意味着：

• 仅靠 SFT → 能力上界 = 基座模型的通用能力上界
• 仅靠 RL → 需要太多探索，样本效率极低
• 仅靠预训练 → 缺乏任务特化，泛化但不精确

业界的解法是三阶段协同：预训练植入基因 → 中训练建立能力基座 → 后训练任务特化。

1.3 Agent 数据与传统训练数据的关键差异

维度	传统训练数据	Agent 训练数据
结构	单轮 Q→A	多轮 观察→思考→行动→反馈 循环
模态	文本为主	文本 + 代码 + API调用 + 截图 + 坐标
验证	人工评估 / 自动指标	环境执行验证（代码通过、任务完成）
来源	人类撰写/合成	环境交互轨迹 + 人类演示 + 合成
奖励信号	无 / 偏好对	环境反馈（测试通过/失败、任务完成度）
动态性	静态	动态（需要与环境实时交互）

---

2. 预训练阶段

2.1 Hephaestus-Forge：首个大规模 Agent 预训练语料

论文：Hephaestus (NAACL 2025, arXiv:2502.06589)

这是业界第一个专门为增强 LLM Agent 能力设计的大规模预训练语料库。

数据构成：

• 规模：103B tokens（1030 亿）
• API 覆盖：76,537 个不同的 API
• 三个能力维度：
  1. API 函数调用知识：工具文档、API 描述、参数规范
  2. 内在推理与规划：函数调用轨迹（包含 chain-of-thought）
  3. 环境反馈适应：错误处理、重试逻辑、状态判断

关键发现：

• 通过持续预训练注入 Agent 数据后，模型在 Agent 基准上匹配商业模型（如 GPT-4）
• 探索了 scaling laws 来确定数据混合比例的最优配方
• 证明预训练阶段的 Agent 数据能提升泛化能力，而非仅提升特定任务

2.2 APTBench：评测预训练阶段的 Agent 潜力

论文：APTBench (arXiv:2510.24397)

APTBench 解决的核心问题是：如何在预训练阶段就评估模型的 Agent 潜力？

• 将真实 Agent 任务转化为多选题或补全题，让未经后训练的 base model 也能回答
• 覆盖软件工程和深度研究两大场景
• 比通用基准更能预测模型的下游 Agent 性能

启示：如果你在做预训练数据配比，应该用 APTBench 类的评测来验证 Agent 数据的效果，而非仅看 MMLU 等通用指标。

2.3 预训练阶段应该混入什么数据？

基于 Hephaestus 和其他工作的总结：

数据类型	目的	占比建议	来源
API/工具文档	学习工具知识	15-25%	GitHub、RapidAPI、公开 API 文档
函数调用轨迹	学习调用模式	20-30%	合成轨迹、开源项目的调用日志
多轮交互对话	学习上下文管理	10-20%	ShareGPT、WildChat 等
代码+注释	学习推理执行	20-30%	GitHub 代码（带 docstring）
环境反馈序列	学习错误处理	5-10%	CI/CD 日志、测试报告

---

3. 中训练阶段

3.1 Agentic Continual Pre-training (Agentic CPT)

论文：Scaling Agents via Continual Pre-training (arXiv:2509.13310)

这是首次提出将 “Agentic CPT” 作为独立训练阶段的工作。

核心思路：

传统流程：  预训练 → 后训练（SFT + RL）
新流程：    预训练 → Agentic CPT → 后训练（SFT + RL）
                        ↑
              专门用 Agent 数据做持续预训练

为什么需要这个阶段？

后训练阶段的 SFT 和 RL 面临一个根本矛盾：

• SFT 需要模型模仿专家行为（行为克隆）
• RL 需要模型探索最优策略（策略搜索）
• 如果基座模型缺乏基本的 Agent 能力，两者都很难奏效

Agentic CPT 的作用是建立 Agent 能力基座，让后续的 SFT/RL 更高效。

实验结果：

• 基于此方法训练的 AgentFounder-30B 在 10 个基准上达到 SOTA
• BrowseComp-en: 39.9%, BrowseComp-zh: 43.3%, HLE Pass@1: 31.5%

3.2 中训练数据的构建方法

中训练数据与预训练数据的区别在于：更结构化、更接近真实 Agent 行为。

数据类型：

1. 工具交互序列：完整的 tool-call → response → reasoning → next-action 链
2. 代码执行上下文：包含 input → code → output → error → retry 的完整序列
3. 搜索推理链：query → search → parse → reason → next-query 的迭代过程
4. GUI 操作序列：screenshot → localize → action → result 的多步骤

数据量级：通常在 10B-100B tokens 量级，远小于预训练但远大于 SFT。

---

4. 后训练 — SFT

4.1 轨迹数据构建方法全景

SFT 阶段的核心挑战是：如何大规模获取高质量的 Agent 交互轨迹？

业界形成了 5 种主要方法：

┌──────────────────────────────────────────────────┐
│            Agent SFT 数据构建五大范式              │
├──────────────┬───────────────────────────────────┤
│  ① 人工标注    │ 成本最高但质量最好                 │
│  ② 专家蒸馏    │ 用强模型生成、弱模型学习            │
│  ③ 环境交互合成 │ 让 Agent 与环境交互，收集轨迹       │
│  ④ 教程引导    │ 从 Web 教程自动生成轨迹             │
│  ⑤ 反向构建    │ 先有轨迹，反推指令                  │
└──────────────┴───────────────────────────────────┘

4.2 方法详解

① 人工标注

• 代表：早期的 WebArena、Mind2Web 等 benchmark 数据
• 优势：最高质量，最接近真实用户意图
• 劣势：极其昂贵（一条轨迹 $10-50），规模受限

② 专家蒸馏

• 代表：OpenHands（用 Claude/GPT-4 生成轨迹，训练开源模型）
• 流程：
  1. 定义任务集合
  2. 用强模型（GPT-4, Claude 3.5）执行任务
  3. 记录完整的交互轨迹
  4. 过滤成功轨迹
  5. 用于训练弱模型
• 关键问题：分布偏移 —— 弱模型的错误模式与强模型不同

③ 环境交互合成 — Learn-by-interact

论文：Learn-by-interact (arXiv:2501.10893)

这是一个极其重要的范式，核心思路：

文档 → 环境探索 → 交互轨迹 → 反向构建指令 → 训练数据

两个关键步骤：

1. 合成交互轨迹：利用环境的 API 文档，让 LLM 与环境进行真实交互
2. 反向构建指令：从已有的交互轨迹中，通过总结/抽象，反推出用户指令

实验效果：

• 在 SWE-bench、WebArena、OSWorld、Spider2-V 上验证
• ICL (Claude-3.5): +12.2%
• Training (Codestral-22B): +19.5%
• 反向构造带来额外 14.0% 的提升

④ 教程引导 — AgentTrek

论文：AgentTrek (ICLR 2025 Spotlight, arXiv:2412.09605)

利用互联网上的操作教程来引导 Agent 产生高质量轨迹：

Web 教程 → 过滤分类 → 结构化指令 → VLM Agent 执行 → VLM 验证 → 训练数据

三个阶段：

1. 自动从互联网收集和过滤教程文本
2. 将文本转换为逐步指令的结构化任务规范
3. VLM Agent 在真实环境中执行指令，VLM 评估器验证

成本：每条高质量轨迹仅 $0.55，全自动化无需人工标注。

数据特点：多模态数据 —— HTML 观察 + 截图 + 像素级动作 + 思维链。

⑤ 经验合成 — DreamGym

论文：DreamGym (arXiv:2511.03773)

DreamGym 的核心创新是不依赖真实环境，而是用”推理驱动的经验模型”来合成轨迹：

真实环境轨迹（少量）→ 经验模型学习 → 大规模合成轨迹 → Agent RL 训练

三个关键组件：

1. 推理驱动经验模型：将环境动力学提炼为推理模型，通过逐步推理得出状态转换
2. 混合经验回放缓冲区：真实数据初始化 + 合成数据持续丰富
3. 自适应课程生成：根据 Agent 当前能力生成新任务

实验效果：在 WebArena 上比所有基线高出 30%+。

4.3 多轮数据的特殊处理

Agent 数据与普通 SFT 数据的最大区别是多轮交互。APIGen-MT (arXiv:2504.03601) 提出了处理多轮数据的最佳实践：

两阶段框架：

1. 蓝图生成：LLM 评审委员会 + 迭代反馈 → 包含 ground-truth 动作的任务蓝图
2. 交互模拟：模拟”人机互演”将蓝图转化为完整交互轨迹

训练的 xLAM-2 系列模型在 τ-bench 和 BFCL 上超越 GPT-4o 和 Claude 3.5。

---

5. 后训练 — RL

5.1 Agent RL 训练的核心挑战

Agent 的 RL 训练与推理 RL（如 DeepSeek-R1）有本质区别：

维度	推理 RL	Agent RL
动作空间	生成文本 token	工具调用 / GUI 操作 / 代码执行
反馈来源	答案正确性	环境执行结果（通过/失败/部分完成）
轨迹长度	几十步	几十到上百步
验证方式	答案比对	程序执行 / 测试用例 / 任务完成度
探索成本	低（纯文本生成）	高（需要真实环境交互）

5.2 奖励构建方法分类

基于 Awesome-Agent-RL 的分类框架，Agent RL 的奖励构建分为以下几类：

A. 结果奖励（Outcome Reward）

• 方式：任务是否完成 → 0/1 二元奖励
• 代表：Search-R1 使用简单的答案匹配奖励
• 优点：简单可靠
• 缺点：奖励稀疏，长轨迹中信号太弱

B. 过程奖励（Process Reward）

• 方式：对每个中间步骤给予奖励
• 代表：Agentic RL with Implicit Step Rewards (OpenReview)
  • 交替优化隐式 PRM 和策略模型
  • 通过多轮 DPO 目标生成步骤级奖励
• 优点：信号更密集，学习更快
• 缺点：过程奖励的标注/设计更难

C. 环境执行奖励

• 方式：代码通过测试、GUI 操作成功、搜索结果相关
• 代表：R2E-Gym 的混合验证器
  • 基于执行的验证器 + 无执行验证器的互补组合
  • 突破单一方法的性能瓶颈（~42-43%）
• 优点：最接近真实目标
• 缺点：环境构建成本高

D. 奖励模型

• 代表：AgentRM (ACL 2025)
  • 8B 参数的可泛化奖励模型
  • 引导策略模型在测试时搜索有效轨迹
  • 研究了三种不同的使用范式

E. 无监督奖励

• 方式：模型自生成问题并自求解
• 代表：Absolute Zero —— 模型同时充当问题提出者和解答生成者
• 前沿方向：内部信号（置信度、熵）作为奖励

5.3 RL 算法选择

算法	适用场景	代表工作
GRPO	资源受限，快速迭代	DeepSeek-R1, Search-R1
PPO	需要精细控制	R2E-Gym 中的 SWE Agent
Reinforce++	简单基线	小规模实验
DPO (多轮)	偏好对齐	隐式步骤奖励的 Agent RL

5.4 RL 训练的实用技巧

1. 检索 token 掩码（Search-R1）：在 RL 训练中，对检索返回的 token 进行掩码，只对 Agent 自己生成的 token 计算损失
2. 混合验证（R2E-Gym）：结合执行验证和无执行验证，提升奖励信号的质量
3. 课程学习（DreamGym）：从简单任务开始，逐步增加难度
4. 热启动（DreamGym）：用合成数据预训练策略，再迁移到真实环境 RL

---

6. Code Agent

6.1 数据类型全景

Code Agent 的数据建设是最成熟的方向，主要包括：

Code Agent 数据体系
├── 预训练
│   ├── 代码+注释语料（GitHub, Stack Overflow）
│   ├── 代码变更历史（Git commit + diff）
│   └── 测试用例+代码对
├── SFT
│   ├── CodeActInstruct: 7K 多轮代码动作指令
│   ├── SWE-bench 任务轨迹
│   └── 合成的 bug-fix 轨迹
└── RL
    ├── R2E-Gym: 8700+ 可执行环境
    ├── 测试用例通过/失败作为奖励
    └── 混合验证器（执行+无执行）

6.2 CodeAct：统一动作空间

论文：CodeAct (ICML 2024, arXiv:2402.01030)

CodeAct 的核心创新是将 Agent 的所有动作统一为可执行 Python 代码：

# 传统方式：JSON 工具调用
{"tool": "search", "query": "latest papers on data curation"}

# CodeAct 方式：Python 代码
results = search_engine.query("latest papers on data curation")
filtered = [r for r in results if r.year >= 2024]
summary = summarize(filtered[:5])
print(summary)

训练数据 CodeActInstruct：

• 7,000 条多轮交互实例
• 所有交互基于 CodeAct 模式
• 包含代码生成 + 执行 + 调试的完整过程
• 与现有数据结合使用，不损害通用能力

6.3 R2E-Gym：Code Agent 的 RL 训练基础设施

论文：R2E-Gym (arXiv:2504.07164)

这是目前最大的 Code Agent RL 训练平台：

SYNGEN 数据生成方法：

Git commit → 反向翻译问题描述 → 自动生成测试用例 → 可执行环境

规模：8,700+ 个可执行任务环境

混合验证器：

• 基于执行的验证器：运行测试用例
• 无执行验证器：基于模型的代码质量评估
• 两者互补，突破 42-43% 的性能瓶颈

结果：32B 模型达到 SWE-Bench Verified 51%，首次匹配专有模型（o1, Claude 3.5）。

6.4 关键开源数据集

数据集	规模	类型	用途
CodeActInstruct	7K 条	多轮交互	Code Agent SFT
SWE-bench	2,294 任务	Bug fix	评测+训练
R2E-Gym	8,700+ 环境	RL 训练	Code Agent RL
SWE-bench Pro	长周期	复杂任务	进阶评测
CommitPack	大规模	Commit 数据	预训练/CPT

---

7. Tool-Use Agent

7.1 数据类型全景

Tool-Use Agent 数据体系
├── 工具库构建
│   ├── API 描述文档
│   ├── 参数规范 (JSON Schema)
│   └── 使用示例
├── SFT
│   ├── ToolACE: 自进化 API 池 + 多 Agent 交互
│   ├── APIGen: 自动化验证管道
│   ├── APIGen-MT: 多轮交互数据
│   └── Gorilla / ToolBench
└── RL
    ├── 函数调用正确性作为奖励
    ├── 任务完成度作为奖励
    └── GRPO / PPO 优化

7.2 ToolACE：自进化的工具学习数据

论文：ToolACE (arXiv:2409.00920)

核心方法：

1. 自进化 API 池：合成 26,507 个多样化 API，解决真实 API 数据稀缺问题
2. 多 Agent 交互生成：多个智能体之间交互，由形式化思维过程引导
3. 双层验证：规则检查 + 模型检查确保数据准确性

效果：仅 8B 参数模型在 Berkeley Function-Calling Leaderboard 上达到 SOTA。

7.3 APIGen 系列：业界最完整的工具数据管道

APIGen v1 (arXiv:2406.18518)

• 自动化管道：生成可验证的多样化函数调用数据集
• 数据规模：xlam-function-calling-60k（60K 条高质量数据）
• 验证机制：语法验证 + 执行验证 + 语义验证三重保障

APIGen-MT (arXiv:2504.03601)

• 多轮扩展：从单轮到多轮的数据生成
• 两阶段生成：蓝图 → 交互轨迹
• 效果：训练的 xLAM-2 系列（1B-70B）超越 GPT-4o 和 Claude 3.5
• 开源：5K 条合成轨迹 + 全系列模型

7.4 Tool-Use 数据的质量控制

工具调用数据的质量控制比其他类型更严格：

质量验证 Pipeline:
1. 语法验证 → JSON/函数调用格式是否正确
2. 参数验证 → 参数类型、范围是否合规
3. 执行验证 → 实际调用是否返回预期结果
4. 语义验证 → 调用是否符合用户意图
5. 多轮一致性 → 上下文中的调用是否逻辑连贯

---

8. Search Agent

8.1 数据类型全景

Search Agent 数据体系
├── 预训练/CPT
│   ├── 搜索日志（query → results → clicks）
│   ├── 问答对 + 检索来源
│   └── 多跳推理数据
├── SFT
│   ├── 搜索-推理交互轨迹
│   ├── 查询优化策略
│   └── 结果摘要与整合
└── RL
    ├── 答案正确性作为结果奖励
    ├── 检索 token 掩码技术
    └── GRPO 优化搜索策略

8.2 Search-R1：搜索 Agent 的 RL 训练

论文：Search-R1 (arXiv:2503.09516)

Search-R1 是将 DeepSeek-R1 的强化学习方法扩展到搜索场景的开创性工作：

核心方法：

用户问题 → LLM 推理 → 生成搜索查询 → 搜索引擎返回 → LLM 继续推理 → 生成新查询 → ... → 最终答案
                                                                                         ↓
                                                                              结果奖励 → GRPO 优化

关键技术：

1. 多轮搜索交互：模型在推理过程中自主发起多次搜索
2. 检索 token 掩码：只对 Agent 生成的 token 计算 RL loss，忽略检索结果 token
3. 简单结果奖励：答案匹配 → 1，不匹配 → 0

效果：

• Qwen2.5-7B: +41% 提升
• Qwen2.5-3B: +20% 提升
• 显著优于各种 RAG 基线

8.3 Search Agent 数据的独特挑战

1. 查询改写多样性：同一个信息需求有多种搜索表达
2. 多跳推理：需要多次搜索才能得到最终答案
3. 结果质量判断：模型需要学会判断搜索结果是否有用
4. 搜索策略规划：先搜什么后搜什么的顺序很重要

---

9. GUI Agent

9.1 数据类型全景

GUI Agent 是最具挑战性的数据方向，因为需要处理视觉+文本+动作三种模态。

GUI Agent 数据体系
├── 预训练/CPT
│   ├── 截图-元素对应数据（grounding）
│   ├── UI 组件识别数据
│   └── 网页/App 结构理解数据
├── SFT
│   ├── AgentTrek: 教程引导的轨迹合成
│   ├── Aguvis Data Collection: 多模态定位+推理
│   ├── 人工标注的操作轨迹
│   └── LAM Simulator: 模拟环境生成
├── RL
│   ├── 任务完成度作为奖励
│   ├── GUI-R1: GUI 场景的 RL
│   └── AgentCPM-GUI
└── 基础能力
    ├── Set-of-Mark (SoM): 界面元素标记
    ├── Trace-of-Mark (ToM): 轨迹追踪
    └── 坐标定位 (grounding)

9.2 AgentTrek：教程引导的轨迹合成

论文：AgentTrek (ICLR 2025 Spotlight, arXiv:2412.09605)

AgentTrek 是 GUI Agent 数据建设的标杆工作：

流水线：

互联网教程 → 分类过滤 → 结构化指令 → VLM Agent 真实环境执行 → VLM 验证 → 高质量轨迹

数据特点：

• 多模态：HTML 文本观察 + 视觉截图 + 像素级动作 + 思维链
• 跨平台：Web、桌面、移动端
• 成本极低：$0.55/条轨迹
• 全自动化：无需人工标注员

9.3 Aguvis：纯视觉 GUI Agent

论文：Aguvis (ICML 2025, arXiv:2412.04454)

Aguvis 的创新在于完全摆脱文本辅助表示（HTML、Accessibility Tree），直接在截图上操作：

数据构建：

• Aguvis Data Collection：大规模多模态定位和推理标注数据集
• 两阶段训练：
  1. GUI 定位训练（学会在截图上定位元素）
  2. 规划与推理训练（学会制定操作计划）

关键结果：首个不依赖闭源模型的完全自主纯视觉 GUI Agent。

9.4 CUA (Computer-Using Agent) — OpenAI Operator

OpenAI 的 Operator 背后是 CUA 技术：

工作循环：

感知（截图）→ 推理（链式思维）→ 操作（鼠标键盘）→ 感知 → ...

训练方法：

• 基于 GPT-4o 的视觉理解能力
• 强化学习训练高级推理能力
• 未来方向：对常见任务进行 RL 微调

性能：

• Computer Use 成功率: 38.1%（之前 22.0%）
• Browser Use 成功率: 58.1%（之前 36.2%）
• 与人类水平（72.4%）仍有差距

9.5 GUI Agent 数据的独特挑战

1. 界面多样性：不同网站/App 的 UI 千差万别
2. 动态变化：页面内容实时变化（广告、弹窗）
3. 坐标精度：点击位置需要像素级精确
4. 长程规划：一个任务可能需要 20-50 步操作
5. 平台差异：Web / Desktop / Mobile 的操作方式不同

---

10. 多模态 Agent

10.1 Magma：多模态 Agent 基础模型

论文：Magma (CVPR 2025, Microsoft Research)

Magma 是第一个为多模态 AI Agent 设计的基础模型，跨越数字和物理世界。

预训练数据构建方法：

数据来源：
├── 现有 Agent 数据
│   ├── 多模态理解数据
│   ├── UI 导航数据
│   └── 机器人操作数据
└── 野外未标记视频
    ├── 去除相机运动
    ├── 提取动作监督信号
    └── 学习跨模态连接

关键创新：

1. Set-of-Mark (SoM)：标记图像中的物体/区域
2. Trace-of-Mark (ToM)：追踪视频中的运动轨迹
3. 统一预训练：将文本、图像、动作三种模态统一训练

应用：UI 导航 + 机器人操作 + 通用视觉理解

10.2 多模态 Agent 数据的特殊性

模态	数据形式	来源	挑战
文本	指令、推理过程	合成/人工	与视觉的对齐
图像	截图、照片	环境截取	分辨率、多样性
视频	操作录屏	用户录制/合成	时序对齐
坐标	点击/拖拽位置	操作记录	精度要求
动作	键盘/鼠标/触控	操作记录	连续/离散空间

10.3 多模态 Agent 数据的构建原则

1. 模态对齐：每个动作必须有对应的视觉状态和文本描述
2. 时序一致性：状态转换必须符合因果逻辑
3. 跨平台标准化：统一不同平台的动作空间表示
4. 数据增强：通过视觉增强（裁剪、旋转、色调变换）提升鲁棒性

---

11. 开源数据集

11.1 综合数据集

数据集	规模	类型	来源
Hephaestus-Forge	103B tokens	预训练/CPT	NAACL 2025
CodeActInstruct	7K 多轮	SFT	ICML 2024
xlam-function-calling-60k	60K	Tool SFT	Salesforce
APIGen-MT	5K 多轮	Tool SFT	Salesforce
AgentTrek Data	大规模	GUI SFT	ICLR 2025
Aguvis Data Collection	大规模	GUI SFT	ICML 2025

11.2 RL 训练环境

环境	任务数	领域	验证方式
R2E-Gym	8,700+	Code	混合验证器
SWE-bench	2,294	Code	测试用例
WebArena	812	Web	任务完成度
OSWorld	369	Desktop	截图匹配
AndroidWorld	-	Mobile	状态匹配

11.3 评测基准

基准	评测能力	适用阶段
APTBench	预训练 Agent 潜力	预训练
BFCL	函数调用	后训练
τ-bench	多轮工具使用	后训练
SWE-bench Verified	代码修复	后训练
BrowseComp	网页浏览	后训练
GAIA	通用 Agent	后训练

---

12. 方法论总结

12.1 Agent 数据建设的六大原则

原则 1：全阶段数据注入

不要只在 SFT 阶段加 Agent 数据。预训练/CPT 阶段就应该开始植入 Agent 基因。

原则 2：环境验证为王

Agent 数据必须经过环境执行验证。纯文本生成的”假轨迹”会产生 hallucination。

原则 3：反向构建优于正向收集

先生成轨迹、再反推指令，比先定义指令、再收集轨迹更高效（Learn-by-interact 的核心发现）。

原则 4：合成数据需要多层验证

ToolACE 的经验：语法验证 + 执行验证 + 语义验证缺一不可。

原则 5：RL 需要好的奖励信号

稀疏的二元奖励不够，需要过程奖励或混合验证来提供更密集的信号。

原则 6：数据飞轮

初始数据 → 训练模型 → 模型与环境交互 → 收集新轨迹 → 过滤优质轨迹 → 训练更好的模型 → ...

12.2 实践路线图

根据你的具体场景，建议的优先级：

Phase 1: 基础建设（1-2 周）
├── 构建工具/API 描述库
├── 收集种子轨迹（人工或专家蒸馏）
└── 搭建验证环境

Phase 2: 数据合成（2-4 周）
├── 实现 Learn-by-interact 风格的交互合成
├── 实现反向指令构建
└── 多层验证管道

Phase 3: SFT 训练（1-2 周）
├── 混合通用数据和 Agent 数据
├── 多轮格式化
└── 效果评测

Phase 4: RL 优化（2-4 周）
├── 搭建 RL 训练环境（参考 R2E-Gym）
├── 设计奖励函数
└── GRPO / PPO 训练

Phase 5: 数据飞轮（持续）
├── 部署模型收集真实交互
├── 筛选优质轨迹回流训练
└── 迭代优化

12.3 不同 Agent 类型的数据建设重点

Agent 类型	最关键的数据	最有效的方法	推荐起步规模
Code Agent	代码执行轨迹 + 测试用例	R2E-Gym 风格的环境生成	1K-5K 轨迹
Tool-Use Agent	API 调用轨迹 + 验证	APIGen 管道	10K-60K 调用
Search Agent	搜索-推理链	Search-R1 风格 RL	1K-10K QA 对
GUI Agent	截图-动作轨迹	AgentTrek 教程引导	5K-50K 轨迹
多模态 Agent	视觉+动作统一数据	Magma 风格多模态预训练	视频 10K+ 小时

---

参考文献

预训练 / 中训练

1. Hephaestus-Forge (NAACL 2025) - arXiv:2502.06589
2. Agentic CPT / AgentFounder (arXiv:2509.13310)
3. APTBench (arXiv:2510.24397)
4. Magma (CVPR 2025) - Microsoft Research

SFT 数据合成

5. Learn-by-interact (arXiv:2501.10893)
6. AgentTrek (ICLR 2025 Spotlight) - arXiv:2412.09605
7. DreamGym (arXiv:2511.03773)
8. CodeAct / CodeActInstruct (ICML 2024) - arXiv:2402.01030
9. LAM Simulator (arXiv:2506.02298)

工具调用数据

10. ToolACE (arXiv:2409.00920)
11. APIGen (arXiv:2406.18518) + APIGen-MT (arXiv:2504.03601)
12. xLAM-2 系列 - Salesforce Research

RL 训练

13. R2E-Gym (arXiv:2504.07164)
14. Search-R1 (arXiv:2503.09516)
15. AgentRM (ACL 2025)
16. Agentic RL with Implicit Step Rewards (OpenReview)

GUI / 多模态

17. Aguvis (ICML 2025) - arXiv:2412.04454
18. CUA / Operator - OpenAI
19. Computer Use - Anthropic

综合资源

20. Awesome Code Agents - github.com/EuniAI/awesome-code-agents (516 篇论文)
21. Awesome Agent RL - github.com/tongjingqi/Awesome-Agent-RL
22. LLM-Agent-Paper-List - github.com/WooooDyy/LLM-Agent-Paper-List