为什么重要
bAbI 是推理评测的”元素周期表”——将文本推理分解为 20 项原子能力：单跳推理、双跳推理、时间推理、路径查找、计数、否定等。虽然模型早已全部通过，但其设计理念——将复杂推理分解为可诊断的原子能力——深刻影响了后续所有推理 benchmark 的设计。
构建方式
程序化生成的合成数据。每项任务有明确的推理模式：Task 1（单跳事实）、Task 2（双跳事实）、Task 3（三跳事实）… Task 20（Agent 动机推理）。
任务示例
- Task 2 (Two Supporting Facts):
- “John went to the hallway. John picked up the football. John went to the garden.”
- Question: “Where is the football?” → Answer: “garden”
关键发现
- 端到端记忆网络首次在大部分任务上接近完美
- 标准 LSTM 在需要多步推理的任务上严重失败
- 合成数据的优势：精确控制推理复杂度，可诊断具体失败点
关联基准
CLUTRR（组合推理）、ProofWriter（规则推理）、FOLIO（一阶逻辑）
不足与展望
合成数据的语言过于简单，无法反映自然语言的复杂性。所有任务对现代 LLM 已完全饱和。其价值更多在方法论层面。