为什么重要
多模态 LLM 最大的可靠性问题之一是目标幻觉——声称图中存在实际不存在的物体。POPE 通过简单的 “Is there a [object] in the image?” 问题格式，高效地量化这个问题。它揭示了几乎所有多模态模型都有严重的”yes-bias”。
构建方式
三种负例采样策略：Random（随机选不存在的物体）、Popular（选图像数据集中常见但该图没有的物体）、Adversarial（选与图中物体高度共现的物体）。难度递增。
任务示例
- 图片：一张办公室场景
- 正例：“Is there a computer in the image?” → Yes
- 负例（Adversarial）：“Is there a mouse in the image?” → No（与 computer 高度共现但图中没有）
关键发现
- 几乎所有多模态模型 yes-ratio 都超过 50%（应该接近 50%）
- Adversarial 设定下幻觉率可高达 30-40%
- 模型规模增大不一定降低幻觉率
关联基准
MM-Vet（综合多模态）、BLINK（视觉感知）、Hallucinations Leaderboard（文本幻觉）
不足与展望
二分类问题格式过于简化，无法评估描述性幻觉。需要更细粒度的幻觉分类体系。