从 Gym-Anything 到 Agent 训练环境全景：Benchmark、框架与未来路线
基于 20+ 核心论文的深度综述，系统梳理 Agent Gym 生态——从 Gym-Anything 的自动化环境构建到 SWE-bench、OSWorld、WebArena 等主流基准的全面对比分析
概览
2026 年初，CMU 团队发布了 Gym-Anything——一个将任意软件自动转化为 Agent 训练环境的框架，标志着 Agent 评测与训练基础设施进入了一个新阶段。本报告从 Gym-Anything 出发，系统梳理当前 Agent Gym 生态的全貌，涵盖环境构建框架、主流 Benchmark、训练范式，并提出对比分析和未来展望。
| 维度 | 现状 |
|---|---|
| 环境构建 | 从手工搭建 → Gym-Anything 自动化构建，200+ 软件 / 10K+ 任务 |
| Benchmark 数量 | 20+ 个主流 Agent 基准，覆盖代码、网页、OS、企业、研究等场景 |
| 最佳 Agent vs 人类 | 差距从 16%（GAIA）到 50%（OSWorld），平均约 30% |
| 训练范式 | SFT → RL（AgentGym-RL）→ 审计反馈（Gym-Anything） |
| 关键瓶颈 | 长周期任务、跨应用工作流、安全性、成本控制 |
第一章 · Gym-Anything：自动化环境构建的范式转移
1.1 核心问题
计算机使用智能体（Computer-Use Agent, CUA）有望协助广泛的数字经济活动。但当前研究主要集中在短周期任务和有限的软件集合上——基础电商、操作系统配置等，经济价值有限。核心瓶颈在于：为复杂软件创建训练环境需要大量时间和人力，难以规模化。
1.2 Gym-Anything 框架
Gym-Anything（CMU, arXiv:2604.06126）提出了一个将任意软件转化为交互式 Agent 环境的框架。其核心创新在于将环境创建本身建模为多智能体协作任务：
编码智能体（Coding Agent）：编写配置脚本、下载真实世界数据、配置软件，并生成正确配置的证据。
审计智能体（Audit Agent）：独立验证环境配置的证据，对照质量检查清单进行审核。
1.3 CUA-World 基准集
基于美国 GDP 数据中具有经济价值的职业分类法，CUA-World 覆盖 200 个软件应用，包含超过 10,000 个长周期任务，涵盖医学、天文学、工程、企业系统等领域。每个任务配有真实数据，并划分了训练集和测试集。
CUA-World-Long 是一个高难度的长周期基准测试，任务通常需要超过 500 步操作，远超现有基准。
1.4 关键实验结果
| 发现 | 详情 |
|---|---|
| 小模型超越大模型 | 将成功轨迹蒸馏到 2B VLM 中，表现优于 2 倍大小的模型 |
| 测试时审计机制 | 独立 VLM 审查已完成轨迹并提供反馈，将 Gemini-3-Flash 在 CUA-World-Long 上的成绩从 11.5% 提升至 14.0% |
| 经济价值导向 | 基于真实经济数据（GDP）选择软件和任务，确保研究方向具有实际应用价值 |
| 规模空前 | 10K+ 任务、200 个软件、500+ 步长周期任务，是目前覆盖范围最广的计算机使用基准之一 |
1.5 技术架构
Gym-Anything 提供了类似 OpenAI Gym 的标准 Python API：
gym_anything.make("software_name")— 一行代码创建任意软件的 Agent 环境src/gym_anything/— 核心环境创建、管理和运行逻辑benchmarks/cua_world/— 基准环境、任务和支持文件agents/— 参考 Agent 实现和评估基础设施
第二章 · Agent Gym 生态全景
2.1 环境构建框架
| 框架 | 机构 | 发布时间 | 核心特点 |
|---|---|---|---|
| Gym-Anything | CMU | 2026.04 | 自动化环境构建，200 软件 / 10K 任务，多智能体协作 |
| AgentGym | 复旦/清华 | 2024.06 | 多环境统一训练框架，支持自我进化，ACL 2025 |
| AgentGym-RL | 复旦/清华 | 2025.09 | 基于 RL 的长周期交互决策训练 |
| BrowserGym | ServiceNow | 2024.03 | 网页 Agent 设计与测试的标准化环境 |
| OpenHands | - | 2025.11 | 标准化 Agent 评估基础设施，多基准集成 |
2.2 主流 Benchmark 分层对比
Level 1：工具调用（Tool Use）
| 基准 | 机构 | 任务数 | 最佳 Agent | 人类 | 差距 |
|---|---|---|---|---|---|
| GAIA | Meta / HuggingFace | 466 | 75.6%（o1） | 92% | 16% |
| τ-bench | Sierra AI | 200+ | 68.2%（Claude 3.5） | ~95% | 27% |
| AgentBench | 清华 | 8 类环境 | 多维度评测 | - | - |
Level 2：网页 / UI 导航
| 基准 | 机构 | 任务数 | 最佳 Agent | 人类 | 差距 |
|---|---|---|---|---|---|
| WebArena | CMU | 812 | 39.5%（AgentOccam） | 78.2% | 39% |
| WorkArena | ServiceNow | 33 | - | - | - |
| OSWorld | HKU / Salesforce | 369 | 22.0%（Claude 3.5） | 72.4% | 50% |
Level 3：代码工程
| 基准 | 机构 | 任务数 | 最佳 Agent | 人类 | 差距 |
|---|---|---|---|---|---|
| SWE-bench Verified | Princeton / OpenAI | 500 | 62.3%（codex-1） | ~77% | 15% |
| DevBench | - | - | 多维度代码生成评测 | - | - |
Level 4：研究 / 安全 / 企业
| 基准 | 机构 | 任务数 | 最佳 Agent | 人类 | 差距 |
|---|---|---|---|---|---|
| RE-bench | METR | 7 | 42/100（Claude 3.5） | 86/100 | 44 分 |
| HCAST | METR | 144 | 37%（o1） | 78% | 41% |
| TheAgentCompany | CMU | 175 | - | - | - |
| EnterpriseOps-Gym | ServiceNow | 164 表 / 512 工具 | - | - | - |
| Gym-Anything CUA-World | CMU | 10K+ | 14%（Gemini-3-Flash+审计） | - | - |
综合对比：AI vs 人类差距
| 基准 | 最佳 Agent | 人类表现 | 差距 | 难度 |
|---|---|---|---|---|
| GAIA | 75.6% | 92% | 16% | 中等 |
| SWE-bench | 62.3% | ~77% | 15% | 困难 |
| τ-bench（零售） | 68.2% | ~95% | 27% | 中等 |
| WebArena | 39.5% | 78.2% | 39% | 困难 |
| HCAST | 37% | 78% | 41% | 困难 |
| RE-bench | 42/100 | 86/100 | 44 分 | 极困难 |
| OSWorld | 22.0% | 72.4% | 50% | 极困难 |
第三章 · Agent 训练范式演进
3.1 从 SFT 到 RL 到审计反馈
Agent 训练范式经历了三代演进：
第一代：行为克隆（SFT）
- 收集专家轨迹，模仿学习
- 优点：简单直接
- 缺点：需要大量人工标注，泛化能力有限
第二代：强化学习（AgentGym-RL）
- 先行为克隆初始化，再跨环境探索学习
- AgentGym-RL 实现了并行化多环境交互训练
- 优点：可以发现超越专家的策略
- 缺点：奖励设计困难，训练不稳定
第三代：审计反馈（Gym-Anything）
- 使用独立 VLM 审计已完成轨迹
- 测试时也可应用审计机制提升表现
- 优点：无需人工标注，可自动扩展
- 这代表了推测性的”环境即数据”范式
3.2 关键发现
小模型蒸馏：Gym-Anything 证明将成功轨迹蒸馏到 2B 模型中，可以超越 4B 模型。这意味着数据质量（成功轨迹）比模型规模更重要。
框架比模型更重要：在 WebArena 上，裸 GPT-4 仅 14.4%，加框架后达到 35%+。这对数据工程的启示是：Agent 的”脚手架”（scaffolding）设计是核心竞争力。
长周期任务是分水岭：超过 15 步的任务失败率骤增。CUA-World-Long 的 500+ 步任务只有 14% 的完成率。这意味着长程规划和状态维护是 Agent 能力的关键瓶颈。
第四章 · 对比分析：Gym-Anything vs 同类框架
4.1 环境构建维度
| 维度 | Gym-Anything | AgentGym | BrowserGym | OSWorld |
|---|---|---|---|---|
| 环境创建方式 | 自动化（多智能体） | 手工 + 半自动 | 手工配置 | Docker 模板 |
| 软件覆盖范围 | 200 应用 | 14 环境 | 网页类 | OS 级 |
| 任务数量 | 10K+ | 数千 | 800+ | 369 |
| 最长任务步数 | 500+ | ~50 | ~15 | ~50 |
| 真实数据 | 是（GDP 导向） | 部分 | 是 | 是 |
| 训练支持 | SFT + 审计 | SFT + RL | 仅评测 | 仅评测 |
| 开源 | 是 | 是 | 是 | 是 |
4.2 评测能力维度
| 维度 | Gym-Anything | AgentBench | SWE-bench | GAIA |
|---|---|---|---|---|
| 任务多样性 | 极高（200 软件） | 高（8 环境） | 低（Python 仓库） | 中（466 问题） |
| 经济价值关联 | 强（GDP 导向） | 弱 | 强（真实 issue） | 中 |
| 长周期评测 | 是（500+ 步） | 否 | 否 | 否 |
| 安全性评测 | 部分（审计机制） | 否 | 否 | 否 |
| 成本核算 | 否 | 否 | 否 | 否 |
4.3 核心差异化
Gym-Anything 相比同类框架的核心优势：
- 自动化环境构建：首次实现用 AI Agent 自动将任意软件转化为训练环境，解决了规模化瓶颈
- 经济价值导向：基于 GDP 数据选择软件和任务，确保研究方向有实际应用价值
- 审计反馈机制：创新性地将审计思想应用于环境构建和推理两个阶段
- 长周期基准：500+ 步任务远超现有基准的 15-50 步范围
核心不足：
- 环境质量依赖 AI：自动化构建的环境质量受限于 AI Agent 的能力
- 无成本核算：与所有现有基准一样，不衡量完成任务的 API/计算成本
- 安全性评测不够系统：审计机制主要关注任务正确性，非安全性
- 人类基线缺失：CUA-World 尚缺乏系统的人类表现基线
第五章 · 当前基准的已知不足
所有现有 Agent 基准共享一些根本性的不足：
| 问题 | 说明 | 影响 |
|---|---|---|
| 过于干净 | 真实任务有模糊需求、缺失文档、目标变更 | 公开基准表现比真实任务高 20-40% |
| 无成本核算 | 花 $50 API 修一个 $5 Bug 也算”通过” | 无法评估经济可行性 |
| 单次尝试 | 不测试从失败中学习、迭代改进的能力 | 忽略了 Agent 最重要的学习能力 |
| 无协作测试 | 不测量人机协作能力 | 忽略了最可能的部署模式 |
| 过拟合风险 | 模型可能间接”见过”测试数据 | 排行榜数字可能失真 |
| 安全性被忽视 | 仅 HCAST 显式衡量安全性 | 能力越强不一定越安全 |
第六章 · 未来展望
6.1 短期（2026 下半年）
- 环境构建自动化成为标配：Gym-Anything 的多智能体环境构建范式将被广泛采用
- 成本感知评测：新一代基准将引入 API 成本、延迟、人工审核时间等经济指标
- 安全性评测常态化：HCAST 的安全维度将被整合到更多基准中
- 私有评估集兴起：企业将构建基于自身真实任务的私有评估集
6.2 中期（2027）
- 统一训练框架：Gym-Anything + AgentGym-RL 的结合——自动化环境构建 + RL 训练
- 人机协作基准：评测 Agent 在人类监督下的增强效果而非独立完成能力
- 跨模态 Agent：结合视觉、文本、代码的统一 Agent 训练环境
- 动态基准：自动更新的基准集，防止过拟合
6.3 长期（2028-2030）
- 经济价值验证：从”任务完成率”转向”实际经济产出”的评测体系
- 持续学习 Agent：能从失败中学习、跨任务迁移的 Agent
- 自我进化环境：环境本身随 Agent 能力提升而自动升级难度
6.4 对数据工程的启示
- Agent 轨迹即训练数据：Gym-Anything 证明成功轨迹可以蒸馏到小模型中，轨迹数据的采集和质量控制是关键
- 环境即数据源：自动化环境构建本质上是一种数据生产管线
- 审计即质量控制：审计智能体的思路可以推广到所有数据质量验证场景
- 经济导向的数据优先级：基于 GDP/经济价值选择训练场景是一种值得借鉴的数据策略
核心论文索引
| 论文 | 机构 | 时间 | 类型 | 核心贡献 |
|---|---|---|---|---|
| Gym-Anything | CMU | 2026.04 | 环境框架 | 自动化环境构建，200 软件 / 10K 任务 |
| AgentGym | 复旦/清华 | 2024.06 | 训练框架 | 多环境统一训练，自我进化 Agent |
| AgentGym-RL | 复旦/清华 | 2025.09 | 训练框架 | RL 驱动的长周期交互决策训练 |
| AgentBench | 清华 | 2023.08 | Benchmark | 首个多环境 Agent 综合评测 |
| SWE-bench | Princeton / OpenAI | 2023 | Benchmark | 真实 GitHub issue 解决评测 |
| WebArena | CMU | 2023 | Benchmark | 真实网站任务导航评测 |
| OSWorld | HKU / Salesforce | 2024 | Benchmark | 桌面 OS 多模态 Agent 评测 |
| GAIA | Meta / HuggingFace | 2023.11 | Benchmark | 通用 AI 助手评测 |
| τ-bench | Sierra AI | 2024 | Benchmark | 工具使用与对话评测 |
| RE-bench | METR | 2024 | Benchmark | 研究工程长时间任务评测 |
| HCAST | METR | 2025 | Benchmark | 自主安全评测，唯一显式衡量安全性 |
| TheAgentCompany | CMU | 2024.12 | Benchmark | 模拟公司环境，175 个真实职业任务 |
| EnterpriseOps-Gym | ServiceNow | 2026.03 | Benchmark | 企业运维，164 表 / 512 工具 |
| BrowserGym | ServiceNow | 2024.03 | 环境框架 | 网页 Agent 标准化环境 |
| WorkArena | ServiceNow | 2024.03 | Benchmark | ServiceNow 平台 33 个企业任务 |
| MultiAgentBench | - | 2025.03 | Benchmark | 多 Agent 协作评测 |
| Survey on Evaluation | - | 2025.03 | 综述 | LLM Agent 评测综述 |
| Evaluation and Benchmarking | ACM | 2025.07 | 综述 | Agent 评测与基准全面综述 |