为什么重要
Flickr30K 与 COCO 并称图文理解领域的两大经典数据集。它是跨模态检索(给图找句/给句找图)的标准评测场,CLIP、ALIGN、SigLIP 等视觉-语言对齐模型的必测基准。虽然已被更大规模的数据集超越,但其历史地位使其持续被引用。
构建方式
从 Flickr 收集图片,每张图 5 条人工描述。Flickr30K Entities 扩展版进一步标注了名词短语与图像区域的对应关系。
任务示例
- 图文检索:给定 “A dog catches a frisbee in the park” → 检索匹配图片
- 图像描述:给定图片 → 生成描述
关键发现
- CLIP 在该基准上展示了对比学习的跨模态力量
- 检索任务是视觉-语言预训练的核心评测
- R@1 指标从早期 ~30% 到现在 ~90%
关联基准
COCO Captions(更大规模)、MTEB(文本检索综合)、NoCaps(新物体)
不足与展望
图片来自 Flickr 社区,偏向摄影爱好者的场景。对现代大模型缺乏区分度。