为什么重要
ZeroSCROLLS 是 SCROLLS 的零样本版本，不提供训练集，避免了过拟合问题。它覆盖了长文本处理的核心能力：摘要、问答、信息聚合，且文本长度最高超过 200K tokens，是测试长上下文窗口的重要基准。
构建方式
- 基于 SCROLLS 的 10 个子任务升级
- 零样本设定——不提供训练集，只有验证集和测试集
- 涵盖会议转录、书籍、政府报告等长文档
任务示例
任务（QuALITY）：阅读一篇 5000 词的短篇小说，回答关于角色动机和情节的问题 任务（QMSum）：阅读一段 10000 词的会议记录，生成针对特定话题的摘要
关键发现
- 文本长度与模型表现高度负相关
- 摘要任务上差距最大
- 200K+ 长度下多数模型性能急剧下降
关联基准
- LongBench：长文本多任务
- InfiniteBench：100K+ 超长
- NIAH：大海捞针
不足与展望
- 部分任务（如 SQuALITY）的评估标准不统一
- 缺乏多语言长文本任务
- 需要更好的长文本评分方法