返回评测
对齐与安全 幻觉-文本 未饱和 模态 · 文本 任务 · 分类 CVPR 2026

HalluScope

A benchmark to understand the extent to which different factors induce hallucinations in large vision-language models

AI Research Lab ·

考察能力

幻觉检测 视觉基础性 文本先验分析 多模态对齐

构建信息

数据规模
5,000+ 图像-文本对
构建方式
精心设计的提示诱导幻觉场景
评测方式
定量幻觉率测量和定性错误分类
核心指标
幻觉率、视觉基础性得分

模型效果排行

🥇 GPT-4V
85.2% 视觉基础性 2026-04-23
🥈 Claude-3.5 Sonnet
83.7% 视觉基础性 2026-04-23
🥉 Gemini-1.5 Pro
82.1% 视觉基础性 2026-04-23

HalluScope是一个专门设计用于理解大型视觉语言模型(LVLM)中幻觉诱导因素的基准测试。该基准测试解决了现有研究在确定幻觉主要来源方面的模糊性,特别是文本先验和背景知识对视觉基础性的影响。

核心设计理念是通过系统性的实验设计来分离不同幻觉诱导因素的重要性。研究发现,幻觉主要源于对文本先验和背景知识的过度依赖,特别是通过文本指令引入的信息。基准测试包含精心设计的提示场景,用于诱发不同类型的幻觉行为。

关键发现表明,文本指令先验是诱导幻觉的主要因素,而视觉主干限制的影响相对较小。该基准测试还提出了HalluVL-DPO框架,通过偏好优化微调现有LVLM,使其产生更视觉基础性的响应。优化后的模型能够有效缓解目标幻觉失败模式,同时在其他幻觉基准测试和视觉能力评估中保持或提升性能。

HalluScope为多模态模型的安全评估提供了重要工具,特别关注幻觉检测和缓解策略的开发。

多模态 幻觉 视觉语言模型 安全评估