为什么重要
BAMBOO 是首个系统性地从多任务角度评测长文本能力的基准。不只是做 QA,还包括排序、计数、多文档比较等任务——这些更接近真实的长文档处理需求。
构建方式
从 5 个领域(文学、学术、科技新闻、法律、政府报告)构建 10 项任务。文本长度从 4K 到 128K tokens,确保覆盖不同上下文窗口。
任务示例
- 长文档排序:给定一篇小说的乱序章节,恢复正确顺序
- 多文档 QA:基于多篇论文回答综合性问题
- 事件计数:统计长文档中某类事件的发生次数
关键发现
- 大部分模型在 >32K 时性能急剧下降
- 排序和计数任务对模型最难,远弱于简单 QA
- “有效上下文窗口”通常远小于声称的最大窗口
关联基准
LongBench(中英长文本)、SCROLLS(多任务长文本)、InfiniteBench(极长文本)
不足与展望
评测主要关注理解而非生成。缺少对”主动检索”策略的评测。