为什么重要
Natural Questions 使用 Google 搜索日志中的真实用户查询，是开放域问答的标准基准。与人工构造的问题不同，这些问题反映真实的信息需求，对模型的实用性评估更有参考价值。
构建方式
- 从 Google 搜索日志随机采样真实查询
- 标注者在完整维基百科页面上标注长答案（段落级）和短答案（实体级）
- 部分问题标注为”无答案”
任务示例
查询：“when did the first star wars movie come out” 短答案：“May 25, 1977” 长答案：维基百科关于 Star Wars (film) 的发行信息段落
关键发现
- 短答案任务比长答案更有挑战性
- 闭卷设定（不给文档）考验模型内化知识能力
- 开卷+检索设定考验信息定位能力
关联基准
不足与展望
- 以英语维基百科为中心，覆盖语言单一
- 前沿模型已接近饱和
- 不涉及多步推理或复杂判断