返回评测
对齐与安全 幻觉-文本 未饱和 模态 · 文本 任务 · 分类

Hallucinations Leaderboard

HuggingFace 综合幻觉检测排行榜,整合多个幻觉评测基准

HuggingFace ·

考察能力

事实准确性 幻觉检测 知识边界

构建信息

数据规模
多基准聚合
评测方式
综合评测
核心指标
Composite Score

资源链接

模型效果排行

🥇 GPT-4o
~83%
🥈 Claude 3.5 Sonnet
~81%

为什么重要

幻觉(hallucination)是 LLM 最核心的安全问题之一。HuggingFace 的 Hallucinations Leaderboard 整合了 TruthfulQA、HaluEval、FaithDial 等多个幻觉检测基准,提供统一排行,是追踪模型事实可靠性进展的重要工具。

构建方式

  1. 聚合多个幻觉相关评测基准
  2. 统一评测流程和打分标准
  3. 定期更新排行

任务示例

根据不同子基准,涵盖事实性 QA、摘要忠实度、对话一致性等多种幻觉场景。

关键发现

  • 幻觉率与模型规模负相关,但不为零
  • 检索增强(RAG)可显著降低幻觉
  • 不同类型幻觉的改善速度差异大

关联基准

不足与展望

  • 聚合基准的评测一致性有待提升
  • 部分子基准已老化
  • 但作为幻觉追踪的统一入口价值大
幻觉 事实性 排行榜 综合