为什么重要
HotpotQA 是多跳推理 QA 的标杆基准。每个问题需要跨两个维基百科文档推理（如”The director of Jaws also directed which 1993 historical drama?”→ 需要先找到 Jaws 导演是 Spielberg，再找他 1993 年的历史片）。独特之处在于要求模型同时给出答案和支撑事实句。
构建方式
众包标注者基于两个相关的维基百科段落编写需要多跳推理的问题。提供”distractor”设定（混入干扰段落）和”fullwiki”设定（开放检索）。标注支撑事实句。
任务示例
- 段落A：关于电影 Jaws 的信息（导演 Steven Spielberg）
- 段落B：关于 Schindler’s List（1993, 导演 Spielberg）
- 问题：“The director of Jaws also directed which 1993 historical drama?”
- 答案：Schindler’s List
- 支撑事实：[句A2, 句B1]
关键发现
- 支撑事实标注使评测可解释——可以判断模型”答对但推理错误”
- Fullwiki 设定下检索质量是瓶颈
- 比较型问题（“Which is older, A or B?”）比桥接型问题更难
关联基准
Natural Questions（单跳）、MuSiQue（多跳 3-4 步）、FRAMES（多文档推理）
不足与展望
大部分问题只需要 2 跳推理。支撑事实的粒度为句子级，有时不够精确。