为什么重要
OK-VQA 的设计原则是：每个问题都必须依赖图片之外的知识才能回答。比如看到一座桥问”这座桥哪一年建成”，或看到一种植物问”它的原产地在哪”。这要求模型同时具备视觉识别和知识检索/推理能力。
构建方式
众包标注者对 COCO 图片提问，规则是”问题不能只通过看图回答，必须需要外部知识”。多人回答取最常见答案。
任务示例
- 图片：一只柯基犬
- 问题：“What country does this breed originate from?” → 答案：“Wales”
关键发现
- 纯视觉模型在该基准上远弱于检索增强模型
- LLM 的内在知识可以部分替代显式检索
- 知识密集型视觉问答是多模态模型的重要应用方向
关联基准
A-OKVQA（升级版）、VQAv2（标准 VQA）、WebQA（需要多模态检索）
不足与展望
知识来源不透明，难以判断模型是”真的知道”还是”碰巧猜对”。需要更好的归因机制。