为什么重要
MMVP 的思路很刁钻：不去找难图，而是去找 CLIP 认为一样的图。研究者先系统性地总结出 CLIP 视觉编码器的 9 类失效模式（方向、位置、数量、颜色、结构、OCR、物体朝向、视角、存在性），然后针对每一类构造「嵌入相近但语义不同」的图像对，把这类图像做成二选题。
结果极具说服力：在这些题上，模型的表现经常接近随机，而人类轻松接近满分。更关键的是，研究者发现给模型做视觉指令微调后，这类盲区并没有被消除——说明问题出在视觉编码器本身，而不是对齐层。
这条结论对做多模态数据的人很重要：如果你的视觉塔是 CLIP 系列，那么它本身的系统性盲区会限制整个模型的能力上限，而增加指令微调数据补不上这块。要么换/增强视觉编码器（多编码器融合），要么在数据里针对这些模式做专项覆盖。
构建方式
- 系统分析 CLIP 视觉编码器的失效模式，归纳为 9 类：方向、相对位置、数量、颜色/外观、结构关系、OCR/文字、物体朝向、视角、存在性
- 对每一类构造图像对：两张图在 CLIP 嵌入空间距离很近，但人类一眼能看出语义不同
- 基于图像对设计二元选择题（每题二选一）
- 测量人类基线，用于对照「模型是否真的在盲区上失能」
- 额外测试：对模型做视觉指令微调后，看这些盲区是否被修复
任务示例
方向类：两张图都是一条狗，一张朝左一张朝右 → 「图中狗朝向哪边？」 数量类：两张图物体数量不同但整体构图相似 → 「图中有几只鸟？」 OCR/文字类：图中文字不同 → 「图上的标志写的是什么？」 相对位置类：两个物体的左右关系相反 → 「钥匙在杯子的哪一侧？」
这些题对人类毫无难度，但对依赖 CLIP 表征的模型构成系统性困难。
最新进展
- 论文的核心发现是：视觉指令微调无法修复编码器的固有盲区——微调后 MMVP 分数提升有限
- 这直接推动了「多视觉编码器融合」的路线（如同时接入 CLIP 与 DINOv2 / SigLIP 等不同归纳偏置的编码器）
- 也催生了一批针对特定视觉模式（方向、计数、OCR）的专项合成数据工作
关键发现
- 盲区来自视觉编码器，不是对齐层：微调补不上，必须从表征层面解决
- 嵌入相似 ≠ 语义相似：这是 CLIP 类对比学习目标的结构性副作用
- 9 类模式可迁移：这套分类后来被广泛用于诊断其他多模态模型的视觉短板
- 实践建议：选型时把 MMVP 类的「盲区测试」与通用基准分开看——通用分高不代表没有系统性盲区