返回评测
长文本 长上下文-理解 未饱和 模态 · 文本 任务 · 选择 / 判断

BAMBOO

10 个任务、5 个领域的系统性长文本理解评测

Fudan University ·

考察能力

长文档 QA 排序 计数 表格理解 长距离依赖

构建信息

数据规模
10 tasks, 1K+ instances
评测方式
标准评测
核心指标
Task-specific (Accuracy, F1, etc.)

模型效果排行

🥇 GPT-4-Turbo-128K
52.3% avg
🥈 Claude 3 Opus
48.7% avg

为什么重要

BAMBOO 是首个系统性地从多任务角度评测长文本能力的基准。不只是做 QA,还包括排序、计数、多文档比较等任务——这些更接近真实的长文档处理需求。

构建方式

从 5 个领域(文学、学术、科技新闻、法律、政府报告)构建 10 项任务。文本长度从 4K 到 128K tokens,确保覆盖不同上下文窗口。

任务示例

  • 长文档排序:给定一篇小说的乱序章节,恢复正确顺序
  • 多文档 QA:基于多篇论文回答综合性问题
  • 事件计数:统计长文档中某类事件的发生次数

关键发现

  • 大部分模型在 >32K 时性能急剧下降
  • 排序和计数任务对模型最难,远弱于简单 QA
  • “有效上下文窗口”通常远小于声称的最大窗口

关联基准

LongBench(中英长文本)、SCROLLS(多任务长文本)、InfiniteBench(极长文本)

不足与展望

评测主要关注理解而非生成。缺少对”主动检索”策略的评测。

长文本 多任务 综合评测