为什么重要
FEVER 是事实验证（fact verification）领域的旗舰基准。模型需从 500 万+ Wikipedia 文档中检索证据，判断声明为 SUPPORTED/REFUTED/NOT ENOUGH INFO。与当前 LLM 幻觉检测高度相关。
评测设计
声明由人工从 Wikipedia 句子改写/虚构，需要检索正确的证据页面+句子后做出判断。FEVER Score 要求检索和判断都正确。
返回评测
对齐与安全 幻觉-文本 未饱和
模态 · 文本
任务 · 分类
FEVER
185K 声明的事实验证基准，需要从维基百科中检索证据
University of Sheffield ·
考察能力
事实验证 证据检索 推理
构建信息
- 数据规模
- 185,445 声明
- 评测方式
- 标准评测
- 核心指标
- FEVER Score / Label Accuracy
资源链接
模型效果排行
🥇 GPT-4o
82.3% FEVER Score
🥈 Claude 3.5 Sonnet
80.1% FEVER Score
事实核查 证据检索 推理 信息检索