为什么重要
MS COCO Captions 是图像描述（Image Captioning）的事实标准基准，也是视觉-语言研究的基础数据集。几乎所有多模态模型的预训练和评测都绕不开 COCO。虽然现代模型在标准指标上已接近饱和，但 COCO 的生态地位使其持续被使用。
构建方式
从 Flickr 收集日常场景图片，每张图片由 5 位标注者独立编写自然语言描述。覆盖 91 个物体类别。
任务示例
- 图片：公园中一家人在野餐
- Caption 1: “A family having a picnic in a sunny park”
- Caption 2: “People sitting on a blanket with food and a dog nearby”
- 5 个 caption 提供多样的合理描述
关键发现
- Attention 机制在 COCO 上的成功催生了 Transformer 对视觉语言的革命
- CIDEr 指标比 BLEU 更好地评估描述质量
- 人类描述的多样性使得自动评测指标有天花板
关联基准
Flickr30K（较小规模）、NoCaps（新物体描述）、VQAv2（视觉问答）
不足与展望
描述偏向简单事实陈述，缺乏深层理解。标准指标与人类判断的相关性有限。