返回评测
Agent 未饱和

Agentic-MME

面向多模态智能体能力的过程验证基准,包含418个真实世界任务和2000+逐步检查点

中科院自动化所等 ·

考察能力

视觉工具调用 网络搜索 多模态推理 过程级验证

构建信息

数据规模
418个任务,2000+逐步检查点
构建方式
人工标注,每任务平均10+人时
评测方式
过程验证 + 最终答案双轴评估(S-axis / V-axis)
核心指标
Overall Accuracy / Level-3 Accuracy

模型效果排行

🥇 Gemini-3 Pro
56.3% overall / 23.0% Level-3 2026-04
🥈 Human
93.8% 2026-04

Agentic-MME 是首个针对多模态大模型(MLLM)智能体能力进行过程级验证的基准。与现有仅评判最终答案的 benchmark 不同,它设计了 2000+ 逐步检查点来审计模型的中间推理过程。

基准覆盖 6 个领域、3 个难度等级的 418 个真实世界任务,统一评估视觉工具调用(视觉扩展)和开放网络搜索(知识扩展)两大核心能力。评估框架还引入了 overthinking 指标来量化模型相对于人类轨迹的推理效率。

关键发现:最强模型 Gemini-3 Pro 整体准确率仅 56.3%,在最难的 Level-3 任务上骤降至 23.0%,而人类达到 93.8%。这说明当前 MLLM 在需要视觉感知、搜索协调和多步推理的真实场景中仍有巨大提升空间。

多模态 agent 过程验证 工具使用