为什么重要
人类看一段在房间里走动的视频，能自然回答「电视离沙发多远」「从门口走到厨房要经过几个家具」这类问题。VSI-Bench 测的就是这个——视觉空间智能（Visual Spatial Intelligence），而且用的是真实室内扫描视频，不是合成场景。
它的关键发现近乎反直觉：模型在纯语言空间推理上能拿不错的分数，在视频空间推理上却接近随机。论文报告人类平均约 79%，而当时的强多模态模型只有 40% 出头。这说明「空间能力」并没有随语言能力和通用视觉能力同步涨上来——它是一个独立的、尚未被充分训练的能力维度。
对数据侧，这条的含义很直接：图文对里几乎没有真正的空间监督信号。要补这块，需要的是带 3D 真值、带度量标注的视频数据（深度、位姿、物体尺寸），而这类数据的采集成本远高于爬图文。这也解释了为什么空间智能是当下多模态数据供给最薄的一块。
构建方式
- 选用三个真实室内 3D 扫描数据集（ARKitScenes、ScanNet、ScanNet++），取其中的行走视频序列
- 借助数据集自带的 3D 重建与相机位姿真值，保证「距离 / 方位 / 计数」这类问题有客观答案
- 标注者围绕三类能力出题：度量估计（距离、尺寸、面积）、空间关系（方位、相对位置）、综合推理（路径规划、顺序判断）
- 数值题采用相对误差阈值分级评分（MRA），避免绝对误差被量纲放大
- 同时提供纯文本版对照题，用于分离「语言空间推理」与「视觉空间推理」
任务示例
度量估计：
视频中，从餐桌到冰箱的距离大约是多少米？ A. 1.2m B. 2.5m C. 4.8m D. 7m
空间关系：
站在门口面向房间，沙发在你左手边还是右手边？
路径与顺序：
从入口走到厨房，按顺序会经过哪些家具？
这类题的共同点是：答案只能从视频的空间结构里读出来，靠常识或语言先验猜不出来。
最新进展
- 论文给出的基线显示：模型与人类之间仍存在数十个百分点的鸿沟，是当时差距最大的多模态能力之一
- 一个被反复引用的结论：给模型看视频并不比给它看抽帧好多少，说明瓶颈不在「看没看到画面」而在「能不能把画面组织成空间结构」
- 后续工作开始尝试用 3D 表征、点云输入、显式深度监督来补这块短板
关键发现
- 语言空间推理 ≠ 视觉空间推理：模型能在文字题上正确推理空间关系，却无法从视频里提取同样的信息
- 视频帧数收益递减：灌更多帧并不能线性提升空间理解，指向表征层面的缺失
- 真实场景比合成难：真实扫描视频有遮挡、光照变化、运动模糊，合成数据上学到的空间先验迁移有限
- 数据启示：需要带度量真值的 3D/视频数据，这类数据的获取成本是当前多模态训练数据扩张的主要瓶颈之一