为什么重要
TriviaQA 是最早的大规模阅读理解基准之一，题目来自真实 trivia 爱好者社区，比人工构造的数据集更自然、更有挑战性。它是 Open LLM Leaderboard v1 的核心评测之一，长期作为模型综合能力的重要参考。
构建方式
- 从 14 个 trivia 网站收集问答对
- 每个问题配以维基百科段落和网页文档作为证据
- 答案需要从长文档中推理抽取
任务示例
问题：“Which American-born inventor is credited with inventing the World Wide Web?” 证据文档：维基百科关于 Tim Berners-Lee 的文章（注意这是个误导性问题——Berners-Lee 是英国人）
关键发现
- 早期模型在此基准上表现远低于人类
- 前沿模型已基本饱和，区分度下降
- 但长文档检索版本仍有挑战性
关联基准
不足与展望
- 答案以短事实为主，不测试推理深度
- 前沿模型已饱和，区分度有限
- 可能存在训练数据污染问题