为什么重要
CNN/DailyMail 是自动文本摘要领域使用最广泛的基准。最初用于阅读理解，后被重构为抽取式/生成式摘要任务。几乎所有摘要模型都在此报告成绩。
评测设计
新闻文章配对人工撰写的摘要（bullet points），用 ROUGE 指标自动评测。
主要发现
- Pointer-Generator Networks 开创了 copy 机制
- 预训练模型（BART, PEGASUS, T5）大幅提升表现
- LLM 生成的摘要在人工评测中常优于参考摘要
返回评测
综合 综合-文本摘要 已饱和
模态 · 文本
任务 · 摘要
CNN/DailyMail
300K+ 新闻文章摘要基准，文本生成经典评测
DeepMind / NYU ·
考察能力
文本摘要 长文档理解 信息压缩
构建信息
- 数据规模
- 312K 文章
- 评测方式
- 标准评测
- 核心指标
- ROUGE-1/2/L
资源链接
模型效果排行
🥇 GPT-4o
48.2 ROUGE-L
🥈 PEGASUS
47.6 ROUGE-L
文本摘要 NLG 经典基准 新闻