为什么重要
多数视觉基准把「看图答对」当成一个整体能力来测，分数涨了说不清涨在哪。CV-Bench 的设计动机就是把这件事拆开：2D 子维度（物体计数、相对位置、语义关系）和 3D 子维度（深度顺序、距离比较、遮挡关系）分开统计。
Cambrian-1 论文用这个基准给出了一个关键观察：当时的开源多模态模型在 2D 任务上已经能接近甚至超过人类基线，但在 3D 任务上明显落后。换句话说，模型「看得见」不等于「理解空间」——这跟 VSI-Bench 的结论互相印证，共同指向同一个缺口。
它的工程价值还在于轻量：2.6K 题、纯选择题、不需要 3D 输入，做模型迭代时的回归验证非常快。相比动辄几万题的视频基准，CV-Bench 可以作为日常「空间能力有没有退化」的哨兵。
构建方式
- 从公开视觉数据集（含室内外场景）采样图像
- 标注者围绕两类能力出题：
- 2D：物体存在性、计数、相对平面位置、属性识别
- 3D：前后深度顺序、物体间距离比较、遮挡判断
- 全部采用多选题形式，答案唯一
- 同时标注人类基线，便于做「相对人类」的比较而非只看绝对分
任务示例
2D 子维度：
图中有几把椅子？ / 猫在桌子的左边还是右边？
3D 子维度：
图中哪个物体离相机最近？ / A 物体是否被 B 物体遮挡？
两类题看起来只差一点，但模型表现差距显著——3D 类题目上模型更容易退化为按「图像中出现的显著性」而非真实深度作答。
最新进展
- Cambrian-1 论文用它论证了「视觉表征的空间能力是当前开源 MLLM 的短板」这一判断
- 后续多模态模型开始在训练中显式加入深度/3D 相关的监督数据，CV-Bench 成为验证这类改进是否奏效的常用对照
- 由于题量小、评估快，它常被用作模型迭代过程中的空间能力回归测试
关键发现
- 2D 与 3D 能力解耦：模型可以 2D 强而 3D 弱，说明两者依赖不同的表征
- 深度信息是稀缺监督：常规图文预训练语料几乎不提供深度与距离的显式标注
- 多选题形式依然有效：即便是最简单的选择形式，3D 类题目也能拉开模型差距
- 实践建议：把它和更大的视频/3D 基准配合使用——CV-Bench 做快速回归，VSI-Bench 一类做深度评估