为什么重要
MMBench 是首个系统性评测多模态模型的中英双语基准。它设计了 20 个能力维度的层级分类体系（L-1 感知/推理 → L-2 粗/细粒度感知 → L-3 具体能力），支持精确的能力诊断。CircularEval 通过旋转选项顺序消除位置偏差，比传统评测更公平。
构建方式
专家手工构建选择题，每题映射到能力分类树的具体叶节点。CircularEval 将每题扩展为 N 个变体（循环移位选项），只有全部答对才算正确。
任务示例
- 能力：Fine-grained Cross-instance Attribute
- 图片：两只不同颜色的猫
- 问题：“Which cat is larger?” → 需同时识别两只猫的大小属性
关键发现
- CircularEval 让很多模型的”虚假准确率”暴跌 10-15%
- 推理能力是大多数模型的最大短板，远弱于感知能力
- 中英版本得分差异揭示了多语言多模态的不平衡
关联基准
MMMMU（大学级多模态）、MMStar（理科多模态）、SEED-Bench（大规模多模态）
不足与展望
选择题格式仍有猜测空间。3K 量级的数据对细粒度能力分析不够充分。