为什么重要
BLINK 揭示了多模态模型的一个关键盲区：人类”一眼”就能完成的视觉感知任务（深度估计、空间关系、视觉对应等），对当前最强模型仍极具挑战。人类准确率 95%+，最强模型仅 ~60%。
构建方式
- 设计 14 类核心视觉感知任务
- 每类任务精选约 270 道多选题
- 任务类型：相对深度、拼图复原、视觉对应、计数、语义对应等
- 确保任务对人类简单但需要真正的视觉感知
任务示例
相对深度：两张图片中标记了两个点，“哪个点离摄像机更近？” 视觉对应：两张不同视角的照片，“图 A 中的红点对应图 B 中的哪个位置？“
关键发现
- 人类 95%+ vs 最强模型 ~60%，差距巨大
- GPT-4V 在多数任务上仅比随机猜测略好
- 暴露了模型”看图说话”但不真正”理解视觉”的问题
关联基准
- MMMU：大学级多模态
- RealWorldQA：真实世界视觉
- MMStar：精选多模态
不足与展望
- 多选题形式可能低估真实感知能力
- 部分任务可能受图像分辨率限制
- 需要更细粒度的错误分析