为什么重要
OpenBookQA 模拟”开卷考试”：提供 1,326 条基础科学事实作为”教科书”，但答题时还需结合广泛的常识知识。这种设计测试的不是记忆能力，而是将知识灵活应用于推理的能力。
构建方式
基于 WorldTree 中的科学事实编写四选一选择题。每题需要至少一条书本知识 + 一条常识知识才能作答。众包编写 + 专家审核。
任务示例
- 科学事实：“金属是热的良导体”
- 问题：“哪种汤匙在热汤中会最先变热？” → A. 木勺 B. 塑料勺 C. 不锈钢勺 D. 陶瓷勺 → 答案：C
关键发现
- 单靠检索书本知识只能达到 ~50%，远低于人类 ~92%
- 需要”知识组合”能力——将显性事实与隐性常识桥接
- LLM 的内在知识库天然适合这类任务，大模型时代快速饱和
关联基准
ARC（科学推理）、CommonsenseQA（常识推理）、ScienceQA（多模态科学）
不足与展望
数据规模偏小，难以进行细粒度能力分析。主流模型已接近饱和，后续研究更多关注需要更深推理链的科学推理基准。