为什么重要
VQAv2 是视觉问答任务的奠基性基准，引入了平衡采样策略来减少语言偏置，是多模态模型评测的必报项目之一。几乎所有多模态模型的技术报告都会报告此基准。
构建方式
- 基于 COCO 图像数据集
- 众包标注自然语言问题
- 每个问题 10 个答案标注
- 引入”互补图像对”减少语言先验
任务示例
图像：一个人在厨房做饭的照片 问题：“What is the person doing?” 答案：“cooking”
关键发现
- 前沿多模态模型已接近人类水平
- 但在需要精细视觉推理的子集上仍有差距
- 语言偏置仍然是一个问题
关联基准
不足与展望
- 简短答案限制了评估复杂推理
- 前沿模型接近饱和
- COCO 图像可能已被大量训练