为什么重要
SQuAD 1.1 是现代机器阅读理解的奠基基准，定义了抽取式 QA 范式。几乎所有预训练语言模型都以 SQuAD 作为基础评测，其排行榜曾是 NLP 竞赛的焦点。
评测设计
基于 Wikipedia 文章，众包标注问题和答案跨度（answer span）。所有问题都有答案。
主要发现
- BERT 在 SQuAD 上首次超越人类水平，成为预训练革命标志事件
- 暴露了模型依赖浅层匹配的问题，催生了更难的 SQuAD 2.0 和对抗数据集
返回评测
综合 综合-问答 已饱和
模态 · 文本
任务 · 开放生成
SQuAD 1.1
100K+ 问答对的抽取式阅读理解基准，QA 领域里程碑
Stanford University ·
考察能力
阅读理解 答案抽取 段落理解
构建信息
- 数据规模
- 107,785 问题
- 评测方式
- 标准评测
- 核心指标
- EM / F1
资源链接
模型效果排行
🥇 GPT-4o
95.1 F1
🥈 BERT-Large
93.2 F1
阅读理解 问答 里程碑 经典基准