为什么重要
幻觉(hallucination)是 LLM 最核心的安全问题之一。HuggingFace 的 Hallucinations Leaderboard 整合了 TruthfulQA、HaluEval、FaithDial 等多个幻觉检测基准,提供统一排行,是追踪模型事实可靠性进展的重要工具。
构建方式
- 聚合多个幻觉相关评测基准
- 统一评测流程和打分标准
- 定期更新排行
任务示例
根据不同子基准,涵盖事实性 QA、摘要忠实度、对话一致性等多种幻觉场景。
关键发现
- 幻觉率与模型规模负相关,但不为零
- 检索增强(RAG)可显著降低幻觉
- 不同类型幻觉的改善速度差异大
关联基准
- TruthfulQA:事实准确性
- SimpleQA:简单事实问答
- LongFact:长文本事实性
不足与展望
- 聚合基准的评测一致性有待提升
- 部分子基准已老化
- 但作为幻觉追踪的统一入口价值大