为什么重要
LooGLE 专注于 2022 年后的新闻事件，确保测试内容在模型预训练数据截止之后，有效避免数据污染。同时测试短依赖和长依赖两类问题。
构建方式
- 收集 2022+ 新闻事件的长文档
- 设计短依赖（局部信息）和长依赖（全文整合）问题
- 人工验证答案质量
任务示例
给定一篇关于某科技公司年度发展的长文档（~20K tokens），问：“How did the company’s strategy shift between Q1 and Q4?”
关键发现
- 即使 128K 上下文模型在长依赖问题上仍有明显不足
- 短依赖和长依赖的性能差距揭示了”有效上下文”问题
- 数据新鲜性有效减少了污染
关联基准
- LongBench：长文本综合
- InfiniteBench：超长文本
- ZeroSCROLLS：零样本长文本
不足与展望
- 规模中等
- 新闻领域偏窄
- 但抗污染设计值得推广