返回评测
多模态 VLM-理解 未饱和 模态 · 图文 任务 · 开放生成

VizWiz

来自视障用户真实照片的视觉问答数据集

University of Texas at Austin ·

考察能力

低质量图像理解 真实需求响应 不可答判断

构建信息

数据规模
31,000 visual questions from blind users
评测方式
标准评测
核心指标
VQA Accuracy

模型效果排行

🥇 GPT-4o
76.8%
🥈 Gemini 1.5 Pro
73.2%

为什么重要

VizWiz 来自真实的视障用户——他们用手机拍照然后提问。图片质量参差不齐(模糊、光线差、构图不佳),问题反映真实的辅助需求(“这个药瓶上写的是什么""这件衣服什么颜色”)。约 28% 的问题因图片质量太差而不可回答,要求模型学会判断。

构建方式

视障用户通过 VizWiz 应用拍照提问,众包标注者提供答案。保留低质量图片,标注不可回答的问题。

任务示例

  • 模糊的药瓶照片 → “What does the label say?” → 可能不可回答
  • 过曝的衣物照片 → “What color is this shirt?” → 可能回答不确定

关键发现

  • 不可答判断是独特的能力需求——大多数 VQA 假设所有问题都有答案
  • 低质量图像下模型性能大幅下降
  • 真正有社会价值的 AI 辅助技术应用

关联基准

VQAv2(标准 VQA)、OK-VQA(知识型)、TextVQA(文字识别)

不足与展望

数据以英语和美国用户为主。标注质量受制于众包。

辅助技术 真实用户 低质图像 VQA