Agentic-MME 深度解读：多模态 Agent 能力的过程级验证基准

一句话定位

Agentic-MME：第一个把「视觉工具调用」和「网络搜索」统一在同一框架、用过程级轨迹验证（而非只看最终答案）来评测 MLLM Agent 能力的多模态基准。

• 论文：Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence?
• 项目主页：agenticmme.github.io
• 机构：多机构合作，2026-04-03
• 核心数字：418 个任务 / 2000+ 步骤检查点 / 平均每任务 10+ 人工小时标注
• 关键结论：最强模型 Gemini 3-pro 整体 56.3%，Level-3 任务仅 33.3%

---

背景：现有多模态评测的三个根本缺陷

多模态 LLM（MLLM）正在从「被动观察者」向「主动 Agent」演化——它们不只是回答图片问题，而是主动调用工具、搜索网络、迭代推理。但现有评测体系完全没跟上：

缺陷	具体表现	导致的问题
工具割裂	视觉工具（crop/enhance/OCR）和网络搜索分开测	无法评估两者协同使用的能力
只看答案	Final answer 对/错，不看中间过程	无法判断工具是否被真正调用、是否用对了
无效率指标	缺乏对「是否过度思考/过度搜索」的度量	高准确率可能靠暴力穷举而非智能规划

Agentic-MME 针对这三个缺陷，给出了一个完整的解决方案。

---

核心设计：三大创新

1. 统一工具框架

Agentic-MME 提供一个同时集成 13 个视觉工具 + 4 个网络工具 的统一评测沙箱：

视觉工具（Visual Expansion）：

• 图像裁剪、旋转、增强、缩放
• OCR（文字识别）
• 目标检测、分割
• 深度估计
• 图像对比与差异检测
• 等 13 种

网络工具（Knowledge Expansion）：

• 网络搜索（通用）
• 结构化知识查询
• 实时数据获取
• 图像反向搜索

真实任务往往需要两类工具交织使用——先识别图像中的物体，再搜索其背景知识，再用搜索结果指导下一步视觉操作。这正是 Level-3 任务的考验。

2. 三级任务体系

任务按「交互复杂度」分为三个难度级别：

Level 1 — Visual Expansion Focus（视觉主导）

单次决定性视觉操作（crop / rotate / enhance）即可获取目标证据。

示例：图中有一个模糊的文字标牌，需要增强图像亮度 + 裁剪放大才能读出内容，然后回答问题。

Level 2 — Visual + Knowledge（视觉 + 知识）

短程多步工作流，结合图像操作和网络检索。

示例：识别图中地标建筑，搜索其历史背景，结合视觉细节回答多跳问题。

Level 3 — Synergistic Coupling（深度耦合）

迭代的假说-验证循环，视觉操作和搜索推理深度交织。

示例：从一张复杂场景图出发，需要反复裁剪 → 搜索 → 更新假说 → 再裁剪 → 再搜索，多轮迭代才能最终确认答案。

3. 双轴评测 + 过程级验证

这是 Agentic-MME 最有原创性的设计：

S-axis（Strategy/Search 轴）：

• 评测搜索策略质量
• 检索内容的相关性
• 中间答案的正确性
• 通过步骤级轨迹匹配实现细粒度验证

V-axis（Visual Evidence 轴）：

• 评测视觉工具的调用是否正确
• 生成的视觉 artifacts 是否真实暴露了所需证据
• 不只是「调用了工具」，而是「工具用对了、用有效了」

人工参考轨迹（Human Reference Trajectory）：

每个任务都有人工标注的最优解轨迹，包含：

• 每步应该调用什么工具
• 每步应该得到什么中间状态
• 最终答案的推理依据

系统通过对比模型轨迹与人工轨迹，计算步骤级精准度。

Overthinking 效率指标：

聪明不代表高效。

如果一个模型用了 20 步才完成人类 3 步能完成的任务，即使最终答案正确，也是「过度思考」（overthinking）。Agentic-MME 明确量化这一指标，给出相对于人工轨迹的效率比。

---

实验结果：「广博知识 ≠ 可靠规划」

主要数字

模型	整体准确率	Level-1	Level-2	Level-3
Gemini 3-pro	56.3%	较高	中等	33.3%
其他闭源模型	明显低于 56.3%	—	—	—
开源模型	更低	—	—	—

关键发现

1. 整体能力与规划能力脱节

Gemini 3-pro 整体 56.3%，但 Level-3 跌至 33.3%。这说明：

“Broad knowledge does not imply reliable planning + execution.”
——广博的知识不代表可靠的规划与执行能力。

2. 工具使用率虚高

现有评测只记录「是否调用了工具」，Agentic-MME 的 V-axis 审计发现：相当比例的工具调用是无效的——调用了，但没真正利用工具结果来更新推理。

3. 过程级失败被最终答案掩盖

部分模型通过「运气」在最终答案上得分，但中间过程是混乱的——过程级审计揭示了这些被 final-answer 评测掩盖的系统性问题。

4. Level-3 揭示的核心能力差距

Level-3 任务需要真正的「多轮假说-验证」推理——当前所有模型在这里都显著下滑。人类的优势在于：能根据视觉操作结果实时更新搜索策略，形成「看 → 搜 → 看 → 搜」的高效闭环。模型则倾向于在初始规划阶段就决定所有步骤，缺乏动态调整能力。

---

与现有多模态基准的对比

基准	工具类型	评测粒度	过程验证	效率度量
MME	无工具	最终答案	✗	✗
MMBench	无工具	最终答案	✗	✗
MMTE	视觉工具（独立）	最终答案	有限	✗
WebSRC	网络搜索（独立）	最终答案	✗	✗
Agentic-MME	视觉 + 网络（统一）	步骤级	✓（双轴）	✓（Overthinking）

---

数据构建视角：Agentic-MME 对训练数据的启示

多模态 Agent 轨迹数据的稀缺性

Agentic-MME 揭示的核心数据空白：训练出「能在视觉-搜索交织场景中做好策略规划」的 MLLM，需要的不是更多图文对，而是高质量的多模态 Agent 轨迹数据，包含：

• 任务目标
• 每步工具选择及其依据
• 工具调用结果
• 基于结果的推理更新
• 下一步策略调整

这类数据在现有预训练语料中几乎不存在。互联网上有大量「问答」数据，但几乎没有「多轮视觉-搜索协作推理过程」的完整记录。

合成轨迹生成的机会

Agentic-MME 的框架本身提供了一个合成数据生成思路：

1. 构建任务库（真实图像 + 可验证的最终答案）
2. 定义工具集（13 视觉 + 4 网络）
3. 用强模型（或专家系统）生成候选轨迹
4. 按 S-axis / V-axis 双轴过滤高质量轨迹
5. 将高质量轨迹用于 fine-tune / mid-training

关键洞察：质量过滤比数量更重要。Agentic-MME 的步骤级验证机制，恰好可以作为合成轨迹的质量筛选器。

Overthinking 数据的价值

Agentic-MME 引入的「Overthinking」概念对数据构建有直接启示：训练数据不应只包含「正确」轨迹，还应包含：

• 高效正确轨迹（正样本，明确奖励）
• 低效但正确轨迹（次优样本，可用于 DPO 对比）
• 错误轨迹 + 自我纠正（错误恢复样本）

这三种轨迹的组合，才能训练出既准确又高效的 Agent。

双轴评测作为数据标注框架

S-axis + V-axis 的双轴设计，不只是评测指标——它同样可以作为数据标注的结构化框架：

• 标注每条轨迹的搜索策略质量（S）
• 标注每次视觉工具使用的有效性（V）
• 两轴分数组合生成综合数据质量分

这比单纯的「最终答案是否正确」提供了更丰富的训练信号。

---

论文的更大意义：重新定义 MLLM 评测标准

Agentic-MME 的出现，是多模态评测范式的一次系统性升级：

从静态到动态：任务不再是「看图回答」，而是「交互式问题解决」

从结果到过程：不再只看答案对错，而是审计推理和工具使用的每一步

从单一到双轴：搜索能力（S）和视觉能力（V）分开衡量，精准定位短板

从准确到效率：Overthinking 指标把「能解决」和「高效解决」区分开来

这四个维度的升级，共同指向一个核心问题：当我们说「MLLM 具备 Agent 能力」时，我们究竟在测量什么？

Agentic-MME 给出了迄今为止最严格的答案。

---

总结

Agentic-MME 的三个核心价值：

1. 诊断工具：过程级审计揭示了被 final-answer 掩盖的系统性失败模式
2. 研究方向指引：Level-3 的巨大性能差距（56.3% → 33.3%）清晰指出「多轮视觉-搜索协同规划」是下一个突破点
3. 数据构建框架：双轴评测 + Overthinking 指标可直接转化为高质量多模态 Agent 轨迹数据的筛选标准

对于关注多模态 Agent 训练数据构建的研究者，Agentic-MME 不只是一个评测基准——它是一个可以直接指导数据飞轮设计的方法论框架。

---

论文：arXiv:2604.03016 | 项目：agenticmme.github.io | 2026-04-03