Agentic-MME 是首个针对多模态大模型(MLLM)智能体能力进行过程级验证的基准。与现有仅评判最终答案的 benchmark 不同,它设计了 2000+ 逐步检查点来审计模型的中间推理过程。
基准覆盖 6 个领域、3 个难度等级的 418 个真实世界任务,统一评估视觉工具调用(视觉扩展)和开放网络搜索(知识扩展)两大核心能力。评估框架还引入了 overthinking 指标来量化模型相对于人类轨迹的推理效率。
关键发现:最强模型 Gemini-3 Pro 整体准确率仅 56.3%,在最难的 Level-3 任务上骤降至 23.0%,而人类达到 93.8%。这说明当前 MLLM 在需要视觉感知、搜索协调和多步推理的真实场景中仍有巨大提升空间。