为什么重要
多模态幻觉（模型描述图片时说出图里没有的东西）是最影响可用性的问题之一。AMBER 的贡献是把这件事拆成可诊断的三类：
- 存在性幻觉：说了图上没有的物体
- 属性幻觉：物体有，但颜色 / 材质 / 数量说错了
- 关系幻觉：物体都有，但它们之间的位置 / 动作关系说错了
这个分类不是学术洁癖——它直接决定了改法不同。存在性幻觉往往靠视觉编码器改进，属性幻觉靠细粒度感知数据，关系幻觉靠结构化监督。混在一起统计，就只能看到「幻觉率 X%」，不知道该往哪使劲。
AMBER 的另一个设计是同时提供生成式与判别式任务：既让模型自由描述再统计幻觉，也让模型回答「图上有没有 X」这种是非题。后者尤其有用——它把幻觉检测变成了一个可直接评分的能力，也更适合做训练信号。
构建方式
- 基于公开图像数据集（含 COCO 等）构建，保证有准确的对象与属性真值
- 针对三类幻觉分别设计题目：
- 存在性：询问图中不存在的对象 / 让模型自由描述后统计虚构对象
- 属性：询问对象的颜色、材质、数量等
- 关系：询问两个对象之间的空间或动作关系
- 提供两类任务：
- 生成式：模型生成描述，用 CHAIR 类指标统计幻觉率
- 判别式：模型回答是非题，用准确率 / F1 评分
- 附带人类标注与基线，便于对照
任务示例
存在性（判别式）：
图中有一只猫吗？（实际上没有）→ 正确模型应答「否」，答「是」即存在性幻觉
属性（判别式）：
图中的车是红色的吗？（实际上是蓝色）→ 属性幻觉检测
关系（判别式）：
杯子在书的左边吗？（实际上在右边）→ 关系幻觉检测
生成式：让模型自由描述图片，再逐句比对真值，统计虚构对象与错误属性。
最新进展
- AMBER 的三类划分成为多模态幻觉研究的标准分类法，后续工作普遍沿用
- 判别式任务的设定启发了一批「幻觉检测模型」与「幻觉标注数据」的构建
- 围绕它出现的改进工作包括：解码策略调整、视觉对比解码、幻觉标注数据微调等
关键发现
- 三类幻觉成因不同：存在性靠视觉编码，属性靠细粒度感知，关系靠结构监督——改进路径不通用
- 判别式任务是可训练的信号：把幻觉检测做成是非题，比统计生成描述更适合做监督
- 模型倾向于「说满」：生成描述时倾向于补充合理但图中没有的细节，这是幻觉的主因之一
- 数据启示：需要针对属性与关系做专项标注，通用图文描述数据提供不了这类监督