为什么重要
BABILong 将经典 bAbI 推理任务嵌入 1M+ tokens 长文本，专测长文本推理而非简单检索。
构建方式与示例
20 种推理任务（事实追踪/计数/路径推理等）嵌入长文本。例如：“John went to kitchen. Mary went to garden…（100K tokens 后）Where is John?”
关联基准与展望
关联：RULER、LongBench、InfiniteBench。不足：合成场景偏简单。
返回评测
长文本 长上下文-推理 未饱和
模态 · 文本
任务 · 混合题型
BABILong
将经典 bAbI 推理任务扩展到 1M+ tokens 长度，专门测试长文本中的多步推理能力
多校 ·
考察能力
长文本推理 多步推理 事实追踪
构建信息
- 数据规模
- 20 tasks × 多长度级别
- 构建方式
- 经典 bAbI 嵌入长文本
- 评测方式
- 精确匹配
- 核心指标
- Accuracy (%)
模型效果排行
🥇 GPT-4 (128K)
~55% (128K) 2024-06
长文本 推理 多步