返回评测
多模态 VLM-推理 已饱和 模态 · 图文 任务 · 选择 / 判断

CLEVR

合成 3D 场景的组合视觉推理,100K 图像 + 853K 问题

Stanford / Facebook AI ·

考察能力

空间推理 属性识别 组合推理 计数

构建信息

数据规模
100K images, 853K questions
评测方式
标准评测
核心指标
Accuracy

模型效果排行

🥇 GPT-4o
92.1%
🥈 NS-VQA (trained)
99.8%

为什么重要

CLEVR 是视觉推理评测的里程碑——通过合成 3D 场景(简单几何体)和程序化生成的问题,将视觉推理分解为可诊断的原子能力:属性识别、空间关系、计数、比较、逻辑运算。其设计理念直接影响了 GQA、VCR 等后续基准。

构建方式

Blender 渲染简单 3D 场景(球、方块、圆柱,不同颜色/材质/大小)。程序化生成多步推理问题,每题对应一个功能程序(可执行推理链)。

任务示例

  • 场景:3 个球 + 2 个方块
  • 问题:“Is the number of large metallic objects that are behind the blue ball greater than the number of small rubber things?”
  • 需要:定位 → 过滤 → 计数 → 比较

关键发现

  • 神经符号方法(如 NS-VQA)能达到 99%+ 但纯神经网络方法较低
  • 组合泛化是关键瓶颈——训练时没见过的组合在测试时失败
  • 激发了神经模块网络(NMN)等重要研究方向

关联基准

GQA(真实图像推理)、CLEVR-CoGenT(泛化测试)、Super-CLEVR(升级版)

不足与展望

合成场景过于简单,不能反映真实视觉的复杂性。主要用于方法研究而非模型比较。

视觉推理 合成数据 诊断 经典基准