返回评测
Agent Agent-工具调用 接近饱和 模态 · 文本 任务 · 执行验证

MCP-Atlas v3 (2026-05 更新)

评估模型通过 MCP 协议自主发现并编排 36 个真实服务器 220 个工具的能力，SOTA 88.1%

Scale AI & NUS ·

考察能力

MCP协议 工具发现 多工具编排 错误恢复 跨服务器协调

构建信息

数据规模
1,000 tasks (500 public + 500 private)
构建方式
人类专家编写并验证，覆盖 36 个真实 MCP 服务器和 220 个工具
评测方式
Claim-level 评分（原子事实声明验证），0.75 claim coverage 阈值
核心指标
Pass Rate (%)

资源链接

论文: arXiv:2602.00933 代码: github.com/scale-ai/mcp-atlas 官网

模型效果排行

🥇 Muse Spark 1.1 (Meta, thinking + tools, 2026-07-09 发布)
88.1% 2026-07
🥈 Kimi K3 (Moonshot AI, thinking max + tools, 2026-07-16 发布)
84.2% 2026-07
🥉 Gemini 3.5 Flash (thinking high + tools)
83.6% 2026-06
4. Claude Fable 5 (Anthropic, standard + tools)
83.3% 2026-06
5. Muse Spark (Meta, standard + tools)
82.2% 2026-04
6. Claude Opus 4.8 (Anthropic, deep thinking + tools)
82.2% 2026-05
7. Hy3 (Tencent, thinking high + tools, Apache 2.0 开源)
79.1% 2026-07
8. GLM-5.2 (Z.AI, standard + tools, MIT 开源)
76.8% 2026-06

为什么重要

MCP-Atlas 是首个大规模评估模型在真实 MCP（Model Context Protocol）生态中工具使用能力的基准。与 BFCL 等简单函数调用评测不同，MCP-Atlas 要求模型自主发现工具、跨服务器编排工作流、从错误中恢复——这正是生产级 Agent 的核心能力缺口。

MCP-Atlas 的独特价值在于：模型可以很强在推理和对话上，但仍然在可靠的端到端工具使用上失败。诊断数据显示 63.3% 的失败源于认知层面（任务理解、过早停止、错误合成），而非工具调用本身——这暴露了当前 Agent 在认知连贯性上的薄弱环节。

构建方式

  1. 1,000 个人类专家编写并验证的任务，覆盖 36 个真实 MCP 服务器和 220 个工具
  2. 跨服务器编排：绝大多数任务需要跨多个服务器协调调用 3-6 个工具
  3. 条件分支：约 1/3 的任务包含条件分支，后续操作依赖前序工具输出
  4. 噪声工具暴露：每任务暴露 10-25 个工具（3-7 个必需 + 5-10 个语义相似干扰项）
  5. 任务提示不指定服务器、工具或参数——Agent 必须完全自主识别并调用
  6. 时间不变性：有状态工具使用固定种子数据，确保可复现

MCP 服务器分布

类别代表服务器描述
ENV-BASICbrave_search, ddg_search, google-maps, weather搜索、地图、天气
ENV-ANALYTICSmongodb, airtable, calculator结构化数据查询与聚合
ENV-PRODUCTIVITYfilesystem, notion, slack, google-workspace, arxiv文件、笔记、邮件、文档
ENV-FINANCIALtwelvedata, alchemy金融数据操作
ENV-CODINGgit, github, mcp-code-executor, cli-mcp-server, e2b-server仓库管理与代码执行

评测方法

  • Claim-level 评分：最终答案按原子事实声明逐条评分（1.0 完全正确 / 0.5 部分正确 / 0 不正确）
  • Pass Rate：claim coverage ≥ 0.75 视为通过
  • 替代路径得分：只要通过有效替代工具路径得到正确答案即可获满分
  • 11 类诊断分类：区分工具调用失败与认知失败（任务理解、合成、解析、过早停止等）
  • 2026 年 4 月更新：升级评分 Judge，增加重试处理，取消 20 轮限制改为 100 工具调用预算

关键发现

  • Muse Spark 1.1 以 88.1% 登顶：Meta 的 thinking + tools 策略在 MCP 工具编排上展现范式级提升，较 1.0 版提升 5.9pp
  • Kimi K3 成为首个突破 84% 的开源模型：2.8T MoE 以 84.2% 超越 Claude Fable 5 (83.3%)，仅落后 SOTA 3.9pp
  • 63.3% 失败源于认知层面：不是工具调用问题，而是任务理解错误、过早停止或错误合成
  • 高性能模型在工具执行成功后仍失败：部分模型成功调用工具但无法正确合成输出
  • 三层性能结构：顶级模型（75%+）、中间层（55-70%）、底层（<50%）
  • 干扰项有效区分工具发现能力：语义相似干扰项防止暴力调用

最新进展

  • 2026-07-09：Meta 发布 Muse Spark 1.1，MCP-Atlas 以 88.1% 登顶新 SOTA，较 1.0 版 82.2% 提升 5.9pp，超越 Gemini 3.5 Flash (83.6%) 成为首个突破 85% 的模型——Meta 的 thinking + tools 策略在 MCP 工具编排上展现范式级提升
  • 2026-07-16：Moonshot AI 发布 Kimi K3（2.8T MoE），MCP-Atlas 达 84.2%，成为首个突破 84% 的开源模型；K3 在 MCP 工具编排上超越 Claude Fable 5 (83.3%)，仅次于 Muse Spark 1.1
  • 2026-07-06：腾讯混元 Hy3（295B MoE, Apache 2.0 开源）MCP-Atlas 达 79.1%，与 Claude Opus 4.7 并列，成为开源模型第二高；仅 21B 激活参数即达此分数，参数效率在开源模型中领先
  • 2026-07-25：BenchLM 更新 MCP-Atlas claim coverage 快照，Claude Opus 5 以 89.1% 领先（但此为 claim coverage 指标，非 pass rate）；DataLearner pass rate 排行榜 Muse Spark 1.1 88.1% 仍为 SOTA
  • 关键趋势：MCP-Atlas Top 3 已压缩至 4.5pp（Muse Spark 1.1 88.1% / Kimi K3 84.2% / Gemini 3.5 Flash 83.6%），基准进入接近饱和阶段；Meta + Moonshot + Google 三强格局替代了此前的 Google + Anthropic 双强；开源模型首次进入 Top 2（Kimi K3）；MCP 工具编排正在从”区分度”转向”table stakes”——前沿模型普遍 >80%，但 claim coverage vs pass rate 的双指标体系仍保留细粒度区分能力
  • 2026-05-19：Gemini 3.5 Flash 在 Google I/O 发布，MCP-Atlas 达 83.6%，超越所有旗舰模型。同日公布 Toolathlon 56.5% 和 Finance Agent v2 57.9%
  • 2026-05：Scale Labs 更新 MCP-Atlas 评测方法论（v3），升级评分 Judge、增加重试处理、100 工具调用预算替代 20 轮限制
  • 2026-05：GLM-5.1 以 68.0% 进入 Top 7，Qwen3.7 Max 以 66.6% 进入 Top 8，中国模型在 MCP 工具使用上追赶迅速
  • 2026-05：MCP-Atlas arXiv 论文更新至 v3 (2602.00933v3)，20 个前沿模型评测结果公布
  • 2026-06-09：Anthropic 发布 Claude Fable 5，MCP-Atlas 达 83.3%，仅落后 Gemini 3.5 Flash 0.3pp，与 Opus 4.8 82.2% 拉开 1.1pp 内部差距；Mythos 5 未在 Anthropic 公开榜中独立列分
  • 2026-06-13：GLM-5.2 (智谱开源) MCP-Atlas 达 76.8% (Z.AI 内部评测) / 77.0% (CodingFleet 跨厂商表)，开源权重模型在 MCP 工具使用上首次反超 Claude Opus 4.6 (75.8%)，仅次于 Opus 4.8
  • 2026-06：codingfleet.com 排行榜扩展至 11 个模型，Top 4 差距仅 1.1pp (Gemini 3.5 Flash 83.6% / Fable 5 83.3% / Opus 4.8 77.8% / GLM-5.2 77.0%)，但不同厂商 harness 不可直接对比
  • 2026-06-23：字节跳动发布豆包 Seed 2.1 Pro，MCP-Atlas 评测超过 Claude Opus 4.7 和 GPT-5.5（具体分数未公开）
  • 2026-07-01：Fable 5 7月1日由美国商务部解禁全球恢复访问，83.3% 分数恢复有效；Top 4 集群（Gemini 3.5 Flash 83.6% / Fable 5 83.3% / Opus 4.8 77.8% / GLM-5.2 76.8%）形成稳定 4 强格局
  • 2026-07-06：llm-stats.com 7月榜单确认 Fable 5 82.2% / Opus 4.8 82.2% / GLM-5.2 76.8% / Qwen3.7 Max 76.4% / Kimi K2.7 Code 76.0% / GPT-5.5 75.3% / MiniMax M3 74.2% / DeepSeek V4 Pro Max 73.6% 形成公开 Top 8；Muse Spark (Meta) 在 Scale 标准化脚手架上 82.2% 反超 Claude Opus 4.6/4.7
  • 关键趋势：MCP-Atlas 已基本饱和但仍保留部分区分度——Top 4 集群 83-77%，Anthropic (Fable 5/Opus 4.8) + Google (Gemini 3.5 Flash) + Meta (Muse Spark) + 智谱 (GLM-5.2) 占据前列；开源模型（GLM-5.2 76.8%）首次进入 Top 4；MCP 协议正成为 LLM 调用外部工具的标准接口，工具编排能力正在从”瓶颈”转为”差异化维度”

关联基准

不足与展望

  • 公开集仅 500 题，另一半私有不公开
  • 评分依赖 LLM Judge，可能引入偏差
  • 真实 MCP 服务器可能有 API 变更风险（尽管使用种子数据控制）
  • 当前仅评测文本模态，未来需支持多模态工具调用
  • 需要关注新兴的 ComplexMCP、LiveMCPBench 等基准是否提供互补视角
MCP 工具使用 Agent Scale AI 工具编排