为什么重要
大多数视觉基准只测单图理解，Mantis-Eval 专注于多图场景——图片对比、序列理解、跨图推理等。随着多模态 Agent 的发展，多图理解能力越来越重要。
构建方式
- 收集需要多图交互的自然场景
- 涵盖图片比较、视觉叙事、图表交叉分析等
- 使用 GPT-4 作为评审模型
任务示例
给定两张室内装修照片，问：“Which room has better natural lighting and why?”
关键发现
- 多数模型在多图场景下表现显著下降
- 图片顺序影响模型推理
- 跨图因果推理是最难的子任务
关联基准
不足与展望
- 评测集较小（217 例）
- 依赖 GPT-4 评审，可能有偏差
- 但多图评测方向有前景