返回评测
多模态 VLM-推理 未饱和 模态 · 图文 任务 · 选择 / 判断

MERRIN

评估搜索增强 Agent 在含噪声、冲突的多模态网络证据中的检索与推理能力

UNC Chapel Hill ·

考察能力

多模态证据检索 噪声环境推理 跨模态整合 视频理解 音频理解 冲突信息处理

构建信息

数据规模
人工标注基准,覆盖文本/图片/视频/音频多模态
构建方式
人工标注 + 真实网络搜索结果
评测方式
准确率(含无搜索/原生搜索/Agent 搜索三种设置)
核心指标
准确率 (%)

模型效果排行

🥇 最佳 Agent(Gemini 3.1 Pro + Agentic Search)
40.1% 2026-04
🥈 所有 Agent 平均
22.3% 2026-04

为什么重要

现实世界中,搜索查询往往欠定义且需要多跳推理,而搜索结果本身是多模态、异构、充满噪声甚至相互冲突的。MERRIN 是首个同时覆盖文本、图片、视频和音频四种模态的搜索增强 Agent 评测基准,且不在查询中包含显式模态提示,迫使模型自主判断应该从哪种模态获取证据。

核心设计

MERRIN 的三大差异化优势:第一,自然语言查询不包含显式模态提示;第二,覆盖视频和音频等未被充分探索的模态;第三,需要处理噪声和冲突的多模态网络证据。评估了 10 个模型驱动的搜索 Agent,包括 GPT-5.4-mini、Gemini 3/3.1 Flash/Pro 和 Qwen3-4B/30B/235B,在无搜索、原生搜索和 Agent 搜索三种设置下进行。

关键发现

即使最强 Agent 也仅达到 40.1% 准确率,所有 Agent 平均仅 22.3%。最有价值的发现是”过度探索”问题——Gemini Deep Research 等强 Agent 执行更多步骤、使用更多工具,却常被冲突或部分相关内容干扰,导致性能收益有限。与人类相比,这些 Agent 消耗更多资源但准确率更低,主要因为来源选择效率低下和过度依赖文本模态。

多模态 搜索增强 Agent 证据检索 噪声鲁棒性 视频 音频