返回评测
推理 综合推理 未饱和 模态 · 文本 任务 · 混合题型

EntailmentBank

要求生成树状多步推理证明的 NLI 基准

Allen AI ·

考察能力

蕴含推理 证明生成 多步推理 知识整合

构建信息

数据规模
1,840 problems with proof trees
评测方式
证明树匹配
核心指标
AllCorrect / Leaf / Step F1

模型效果排行

🥇 GPT-4
52.3% AllCorrect
🥈 EntailmentWriter
38.4% AllCorrect

为什么重要

EntailmentBank 要求模型生成完整的推理证明树——从给定的事实集出发,通过多步蕴含推理达到结论。每一步都必须是可验证的蕴含关系。这是迈向”可解释 AI 推理”的关键基准。

构建方式

基于 WorldTree 解释语料,专家标注推理证明树。每棵树由叶节点(事实)和中间节点(推理步骤)组成。三种难度:Task 1(给定事实选用)、Task 2(从知识库检索事实)、Task 3(开放域检索)。

任务示例

  • 假设:“A fox is a kind of animal.”
  • 结论:“A fox needs food to survive.”
  • 证明树:Fox is animal [fact] + Animals need food [fact] → Fox needs food [step 1]

关键发现

  • AllCorrect(整棵证明树正确)指标极为严格
  • 模型倾向于跳过中间步骤直接得出结论
  • 检索正确的支撑事实是最大瓶颈

关联基准

ProofWriter(规则推理)、FOLIO(一阶逻辑)、eQASC(多步解释)

不足与展望

规模较小(1.8K)。科学事实领域的证明树结构相对规整,不代表通用推理的复杂性。

推理 证明 蕴含 可解释