为什么重要
SCROLLS 是长文本评测的先驱套件，将散落的长文本任务（GovReport、QMSum、SummScreenFD、QA-SCI 等）整合为统一基准。ZeroSCROLLS 是其零样本升级版。
构建方式
- 整合 7 个已有长文本任务
- 统一格式和评测接口
- 确保输入长度在 4K-100K token 范围
任务示例
GovReport：给定一篇政府报告（~10K tokens），生成执行摘要。 QMSum：给定会议记录，回答特定问题。
关键发现
- 长文本摘要仍是挑战
- 输入长度与性能负相关
- 是 ZeroSCROLLS 的前身
关联基准
- ZeroSCROLLS：零样本升级版
- LongBench：中英双语长文本
- L-Eval：长文本评测
不足与展望
- 部分任务因 few-shot 过拟合而区分度下降
- ZeroSCROLLS 已部分取代
- 但作为长文本评测套件化的先驱值得记录