为什么重要
NoCaps 测试模型对”训练时未见过的物体”的描述能力。它使用 Open Images 的物体类别（比 COCO 的 80 类多得多），按是否在 COCO 训练集中出现分为 in-domain / near-domain / out-of-domain 三个评测区。
构建方式
从 Open Images 中选择包含 COCO 之外物体类别的图片。人工标注描述。按物体类别与 COCO 的重叠程度划分三个难度区。
任务示例
- 图片：一只浣熊在垃圾桶旁（浣熊不在 COCO 80 类中）
- 要求：生成准确描述，包括正确识别”浣熊”
关键发现
- 传统 captioning 模型在 out-of-domain 区严重退化
- LLM 基础的多模态模型在泛化上有天然优势
- 物体词汇的开放性是图像描述的长期挑战
关联基准
COCO Captions（标准描述）、Flickr30K（较小规模）、VizWiz（辅助视障者）
不足与展望
随着预训练数据规模扩大，“新物体”的定义变得模糊。大模型时代的评测价值下降。