为什么重要
NovelQA 使用完整的长篇小说（200K+ tokens）作为上下文，测试模型真正理解长叙事的能力。不同于 NIAH 的人工插入，这里的信息自然分布在整本书中，需要全局理解才能回答。
构建方式
- 选择 62 部英文小说（经典+现代，涵盖多种文体）
- 为每本小说设计涵盖情节、角色、主题等维度的问题
- 问题难度分级：直接检索 / 多处整合 / 推理判断
任务示例
小说：《了不起的盖茨比》（全文 ~47K 词） 问题：“What is the symbolic significance of the green light at the end of Daisy’s dock, and how does Gatsby’s relationship to it change throughout the novel?”
关键发现
- 即使有 1M token 窗口，模型对整本书的理解仍然很弱
- 需要跨章节推理的题目准确率显著低于单章检索
- 文学隐喻和象征理解是明确的弱项
关联基准
- Fiction.liveBench：长篇小说理解
- LongBench：长文本多任务
- BEAM：长期记忆
不足与展望
- 部分小说可能已大量出现在训练数据中
- 开放式问题难以自动评分
- 需要更多非英语文学覆盖