为什么重要
XSum 要求生成高度抽象的单句摘要，不能简单复制原文。是测试模型信息浓缩和忠实性的严苛基准。
评测设计
BBC 新闻文章 + 编辑撰写的单句导语。因高度抽象，幻觉问题尤为突出。
主要发现
- 忠实性（faithfulness）是 XSum 的核心挑战
- ROUGE 分数低并不一定意味着摘要质量差
返回评测
综合 综合-文本摘要 接近饱和
模态 · 文本
任务 · 摘要
XSum
BBC 新闻单句极端摘要基准，高度抽象化
University of Edinburgh ·
考察能力
抽象摘要 信息浓缩 忠实性
构建信息
- 数据规模
- 227K 文章
- 评测方式
- 标准评测
- 核心指标
- ROUGE-1/2/L
资源链接
模型效果排行
🥇 GPT-4o
30.5 ROUGE-L
🥈 PEGASUS
29.8 ROUGE-L
文本摘要 NLG 抽象摘要 忠实性