为什么重要
EntailmentBank 要求模型生成完整的推理证明树——从给定的事实集出发,通过多步蕴含推理达到结论。每一步都必须是可验证的蕴含关系。这是迈向”可解释 AI 推理”的关键基准。
构建方式
基于 WorldTree 解释语料,专家标注推理证明树。每棵树由叶节点(事实)和中间节点(推理步骤)组成。三种难度:Task 1(给定事实选用)、Task 2(从知识库检索事实)、Task 3(开放域检索)。
任务示例
- 假设:“A fox is a kind of animal.”
- 结论:“A fox needs food to survive.”
- 证明树:Fox is animal [fact] + Animals need food [fact] → Fox needs food [step 1]
关键发现
- AllCorrect(整棵证明树正确)指标极为严格
- 模型倾向于跳过中间步骤直接得出结论
- 检索正确的支撑事实是最大瓶颈
关联基准
ProofWriter(规则推理)、FOLIO(一阶逻辑)、eQASC(多步解释)
不足与展望
规模较小(1.8K)。科学事实领域的证明树结构相对规整,不代表通用推理的复杂性。