为什么重要
Toolathlon 是首个系统评估 AI Agent 在真实软件生态中跨系统工具调用能力的基准。相比于单工具评测（如 BFCL、API-Bank），Toolathlon 要求模型在 32 个真实软件应用中完成 108 个复杂多步骤任务，每个任务平均需要 20 轮交互。即使最强模型也在约一半任务上失败，说明可靠的多步自动化仍是开放问题。
构建方式
- 覆盖 32 个真实软件应用：从日常工具（Google Calendar、Notion、Gmail）到专业系统（WooCommerce、Kubernetes、BigQuery）
- 604 个可用工具：涵盖邮件、日历、数据库、代码仓库、电商、协作等企业常用工具
- 108 个手工设计的多步骤任务：每个任务模拟真实企业工作流，需要跨多个应用交互
- 真实环境配置：模拟真实软件环境，而非模拟 API 响应
- 基于执行结果的评估：每个任务有专用验证脚本，检查系统最终状态
任务示例
金融与市场：NVIDIA 市场分析 → 调用股票 API → 获取财报数据 → 生成分析报告 办公与商务：差旅费报销验证 → 读取邮件附件 → 匹配审批记录 → 更新报销系统 技术与开发：K8s 部署测试 → 连接集群 → 部署服务 → 验证日志 → 回滚（如需） 购物与电商：WooCommerce 产品库存同步 → 读取库存 → 同步 ERP → 更新状态
核心指标
| 指标 | 说明 |
|---|---|
| Pass@1 | 单次尝试通过率 |
| Pass@3 | 三次尝试内通过率 |
| # Turns | 平均交互轮数（越少越好） |
最新进展
- 2026-04：DeepSeek V4-Pro Max 以 52.8%（Pass@1）/ 63.9%（Pass@3）刷新开源模型纪录
- 2026-04：Claude Opus 4.7 以 52.8% 与 DeepSeek V4-Pro Max 并列第二
- 2026-04：Kimi K2.6 以 50.0% 位列开源模型第三
- 2026-04：GPT-5.5 以 55.6% 保持领先
关键发现
- 头部模型差距缩小：GPT-5.5 (55.6%) vs Claude Opus 4.7 (52.8%) vs DeepSeek V4-Pro Max (52.8%)，差距 <3%
- 开源与闭源接近：DeepSeek V4-Pro Max (52.8%) 逼近 Claude Opus 4.7 (52.8%)
- 工具数量挑战巨大：604 个工具中正确选择和调用是核心瓶颈
- 长程任务难：平均 20 轮交互，错误累积是常见失败原因
- Claude 效率更高：Opus 4.7 平均 16.2 轮完成任务，Gemini 3.1 Pro 需要 27.9 轮
关联基准
不足与展望
- 任务手工设计，规模扩展受限
- 模拟环境与真实生产环境可能存在差异
- 仅覆盖软件工具，未涉及物理操作
- 但作为跨系统工具调用的评测基准价值独特
参考链接
- 官网：https://toolathlon.xyz/
- 论文：arXiv:2510.25726（ICLR 2026 Poster）
- GitHub：https://github.com/hkust-nlp/Toolathlon
- 数据集：HuggingFace hkust-nlp/Toolathlon-Trajectories