为什么重要
Marathon 将长文本评测推向极端——每个实例超过 200K tokens，远超大部分模型的有效处理能力。它测试的不是”能否接收长输入”而是”能否真正利用长输入中的远距离信息”。
构建方式
从多部小说、长篇论文集、法律文档集构建极长输入。设计 6 类任务：跨章节 QA、角色追踪、事件排序、论点整合、矛盾检测、总结。
任务示例
- 输入：一部 200K+ tokens 的完整小说
- 问题：“In chapter 3, character X made a promise. Was this promise fulfilled by the end of the book? Cite the evidence.”
关键发现
- 大部分模型在 >128K 时性能接近随机
- “有效上下文窗口”远小于标称值
- 需要新的架构（如 RAG、分段处理）才能处理真正的超长文本
关联基准
InfiniteBench（100K+）、NovelQA（全本小说）、BAMBOO（多任务长文本）
不足与展望
极端长度使得评测成本极高。缺少对”信息检索策略”的独立评测。