为什么重要
BoolQ 以 Google 搜索日志中的真实用户问题为基础，要求模型阅读维基百科段落后给出 Yes/No 回答。看似简单的二分类实际需要复杂的推理链，是 SuperGLUE 的核心子任务之一。
构建方式
从 Google 搜索日志中采样自然产生的 Yes/No 问题，人工标注对应的维基百科段落和正确答案。问题未经改写，保留真实搜索的自然表述。
任务示例
- 段落：关于波斯猫的维基百科条目 → 问题：“do persian cats shed a lot of hair?” → 答案：Yes
- 段落：关于太阳系的条目 → 问题：“is pluto still considered a planet?” → 答案：No
关键发现
- 简单的布尔判断掩盖了复杂的推理需求——很多问题需要多步推理
- 人类准确率约 89%，表明任务本身有歧义性
- 成为衡量 LLM 基本阅读理解能力的标配测试
关联基准
SuperGLUE（包含 BoolQ）、SQuAD（抽取式 QA）、Natural Questions
不足与展望
主流模型已接近饱和。二分类格式限制了评测粒度，无法评估推理过程的质量。