为什么重要
CLEVR 是视觉推理评测的里程碑——通过合成 3D 场景(简单几何体)和程序化生成的问题,将视觉推理分解为可诊断的原子能力:属性识别、空间关系、计数、比较、逻辑运算。其设计理念直接影响了 GQA、VCR 等后续基准。
构建方式
Blender 渲染简单 3D 场景(球、方块、圆柱,不同颜色/材质/大小)。程序化生成多步推理问题,每题对应一个功能程序(可执行推理链)。
任务示例
- 场景:3 个球 + 2 个方块
- 问题:“Is the number of large metallic objects that are behind the blue ball greater than the number of small rubber things?”
- 需要:定位 → 过滤 → 计数 → 比较
关键发现
- 神经符号方法(如 NS-VQA)能达到 99%+ 但纯神经网络方法较低
- 组合泛化是关键瓶颈——训练时没见过的组合在测试时失败
- 激发了神经模块网络(NMN)等重要研究方向
关联基准
GQA(真实图像推理)、CLEVR-CoGenT(泛化测试)、Super-CLEVR(升级版)
不足与展望
合成场景过于简单,不能反映真实视觉的复杂性。主要用于方法研究而非模型比较。