返回评测
多模态 VLM-理解 已饱和 模态 · 图文 任务 · 开放生成

Flickr30K

31K 张图片 + 158K 描述的经典图文匹配与检索基准

University of Illinois ·

考察能力

图文匹配 跨模态检索 图像描述

构建信息

数据规模
31,783 images, 158K captions
评测方式
检索评测
核心指标
R@1 / R@5 / R@10

模型效果排行

🥇 CLIP-ViT-L
88.0 R@1
🥈 SigLIP
89.5 R@1

为什么重要

Flickr30K 与 COCO 并称图文理解领域的两大经典数据集。它是跨模态检索(给图找句/给句找图)的标准评测场,CLIP、ALIGN、SigLIP 等视觉-语言对齐模型的必测基准。虽然已被更大规模的数据集超越,但其历史地位使其持续被引用。

构建方式

从 Flickr 收集图片,每张图 5 条人工描述。Flickr30K Entities 扩展版进一步标注了名词短语与图像区域的对应关系。

任务示例

  • 图文检索:给定 “A dog catches a frisbee in the park” → 检索匹配图片
  • 图像描述:给定图片 → 生成描述

关键发现

  • CLIP 在该基准上展示了对比学习的跨模态力量
  • 检索任务是视觉-语言预训练的核心评测
  • R@1 指标从早期 ~30% 到现在 ~90%

关联基准

COCO Captions(更大规模)、MTEB(文本检索综合)、NoCaps(新物体)

不足与展望

图片来自 Flickr 社区,偏向摄影爱好者的场景。对现代大模型缺乏区分度。

图文检索 经典基准 跨模态 里程碑