为什么重要
现实世界中,搜索查询往往欠定义且需要多跳推理,而搜索结果本身是多模态、异构、充满噪声甚至相互冲突的。MERRIN 是首个同时覆盖文本、图片、视频和音频四种模态的搜索增强 Agent 评测基准,且不在查询中包含显式模态提示,迫使模型自主判断应该从哪种模态获取证据。
核心设计
MERRIN 的三大差异化优势:第一,自然语言查询不包含显式模态提示;第二,覆盖视频和音频等未被充分探索的模态;第三,需要处理噪声和冲突的多模态网络证据。评估了 10 个模型驱动的搜索 Agent,包括 GPT-5.4-mini、Gemini 3/3.1 Flash/Pro 和 Qwen3-4B/30B/235B,在无搜索、原生搜索和 Agent 搜索三种设置下进行。
关键发现
即使最强 Agent 也仅达到 40.1% 准确率,所有 Agent 平均仅 22.3%。最有价值的发现是”过度探索”问题——Gemini Deep Research 等强 Agent 执行更多步骤、使用更多工具,却常被冲突或部分相关内容干扰,导致性能收益有限。与人类相比,这些 Agent 消耗更多资源但准确率更低,主要因为来源选择效率低下和过度依赖文本模态。