为什么重要
SQuAD 是 NLP 历史上影响最大的阅读理解基准。1.0 版定义了抽取式 QA 范式，2.0 版引入不可回答问题，要求模型学会”说不知道”。几乎所有预训练语言模型都以 SQuAD 作为基础评测。
构建方式
- 基于维基百科段落，众包标注者提问
- 1.0：所有问题可从段落中抽取答案
- 2.0：新增 53,775 个无法从段落回答的问题
任务示例
段落：“Super Bowl 50 was an American football game…” 问题：“Which NFL team won Super Bowl 50?” 答案：“Denver Broncos”
关键发现
- 最早被模型”超越人类”的主流基准之一
- 推动了 BERT、XLNet 等模型的发展
- 2.0 版的不可答问题仍有意义
关联基准
- TriviaQA：开放域问答
- Natural Questions：真实搜索问答
- DROP：离散推理问答
不足与展望
- 完全饱和，已无区分能力
- 抽取式范式限制了评测自由文本生成
- 但历史意义重大，是 NLU 时代的里程碑