返回评测
长文本 长上下文-推理 未饱和 模态 · 文本 任务 · 混合题型

LongFact

Google 提出,评估 LLM 生成长篇回复时的事实准确性,覆盖 38 个主题

Google DeepMind ·

考察能力

长文本生成 事实准确性 幻觉检测

构建信息

数据规模
2280 prompts / 38 topics
构建方式
专家设计
评测方式
Search-Augmented Factuality Evaluator (SAFE)
核心指标
F1@K

模型效果排行

🥇 GPT-4 Turbo
~73% F1@64 2024-03

为什么重要

Google 提出,评估 LLM 生成长篇回复时的事实准确性。用 SAFE 方法自动验证每个声明。

构建方式与示例

2280 prompts / 38 topics。例如:“详细介绍 CRISPR 基因编辑的原理和应用”→ 验证回复中每个事实声明。

关联基准与展望

关联:SimpleQA、TruthfulQA。不足:SAFE 验证器本身可能有误。

长文本 事实性 幻觉