为什么重要
MCPAgentBench 基于真实 MCP 定义评估 Agent 的工具使用能力。与 MCP-Atlas 和 MCP-Bench 形成 MCP 生态的三角评测。
构建方式
- 基于真实世界 MCP 工具定义构建数据集
- 涵盖文件操作、数据库查询、API 调用等场景
任务示例
示例：“使用 MCP 工具读取数据库中的用户数据，根据条件筛选后写入新表”
关联基准
不足与展望
- MCP 生态快速变化，benchmark 需要持续跟进
返回评测
Agent Agent-工具调用 未饱和
模态 · 文本
任务 · 执行验证
MCPAgentBench
评估 LLM Agent 通过 MCP 协议使用外部工具完成真实任务的能力
多个研究团队 ·
考察能力
MCP 工具使用 协议 Agent API编排
构建信息
- 数据规模
- 多种任务类型
- 评测方式
- 标准评测
- 核心指标
- Task Success Rate (%)
资源链接
模型效果排行
🥇 GPT-5
65.4%
🥈 Claude Opus 4
61.2%
MCP Agent 工具使用