为什么重要
SimpleQA 是 OpenAI 发布的事实性短答评测——4326 道简单事实问题，不测推理、不测创意、只测一件事：模型说的是不是真的。是检测幻觉率最直接的基准。
构建方式
- OpenAI 内部 AI trainers 编写 4326 个简短事实问题
- 每个问题都有一个无歧义的正确答案
- 答案经过多方验证确保准确
- 评分三分类：Correct（正确）/ Incorrect（错误/幻觉）/ Not Attempted（拒绝回答）
任务示例
示例 1：“谁是第一个登上月球的人？” → “Neil Armstrong” 示例 2：“Python 是哪一年首次发布的？” → “1991” 示例 3：“东京塔有多高？” → “333 米”（精确数值要求）
最新进展（2026-10-17 更新）
本卡此前停在 GPT-5 的 52.8%，且四条未按降序排列。按 2026-10 的两个独立快照，2026 年前沿模型已经把天花板从「一半答不对」推到「四分之一答不对」：
| 模型 | 分数 | 推理档位 |
|---|---|---|
| GPT-6 Astra | 75.6% | Max |
| GPT-6.1 Sol | 73.9% | Max |
| Gemini 3.1 Pro Preview | 73.5% | high |
| Claude Opus 5.5 | 72.2% | Max |
| Claude Fable 5.1 | 70.8% | Max |
| Claude Fable 5 | 70.7% | xhigh |
| Gemini 3.8 Flash | 69.7% | high |
| GPT-5.6 Sol | 69.7% | Max |
两个快照的交叉验证：GPT-6 Astra 75.6、GPT-6.1 Sol 73.9、Claude Opus 5.5 72.2、Claude Fable 5.1 70.8、Gemini 3.8 Flash 69.7 五条逐字吻合，判定同一 lane；对不上的三条（Gemini 3.1 Pro 77.3 vs 73.5、GPT-5.6 Sol 71.6 vs 69.7、Claude Fable 5 68.3 vs 70.7）差 1.9–3.8pp，来自档位或抓取时点差异，两值并存不判真值。
⚠️ 三条 92%+ 的条目为什么没进 topResults
同一批聚合榜单上还有三条显著更高的值：DeepSeek-V3.2-Exp 97.1%、Grok 4 Fast 95%、DeepSeek-V3.1 93.4%、DeepSeek-R1-0528 92.3%。它们与次高值（75.6%）之间隔着 20pp 以上的断层，且全部集中在 DeepSeek 一家。
判据与经验库中「2026 年前沿模型在任何主流推理基准上出现离谱值先怀疑数据源」同源，只是方向相反：当某个厂商的多个旧版本在同一基准上集体高出同期所有竞品 20pp，第一假设应是污染或计分口径差异，而不是能力跃迁。这三条只记在此处，不进 topResults——把 97.1% 插进去会让整张榜的排序失去意义。
开源与闭源的差距几乎没有缩小
| 阵营 | 最高分 | 代表 |
|---|---|---|
| 闭源前沿 | 75.6% | GPT-6 Astra |
| 开源权重 | 52.9% | DeepSeek V4 Pro 0813 |
开源侧的完整梯度是：DeepSeek V4 Pro 0813 52.9% → Kimi K3 50.6% → DeepSeek V4 Pro 47.0% → GLM 5.3 41.0% → Qwen3 235B A22B Thinking 2507 40.4% → Inkling 40.3%。22.7pp 的阵营差比两年前的观察还要刺眼——SimpleQA 测的是参数化知识容量，而这恰恰是开源权重最难用训练技巧弥补的一维。
关键发现
- Correct Rate 的绝对值翻了近一倍：从 2024 年 o1-preview 的 ~45% 到 2026 年 Astra 的 75.6%，但仍有四分之一的事实问题答不对，且这还是「简单事实」。
- Not Attempted 是设计特性不是缺陷：评分三分类里，拒答优于答错。推理模型拒答率天然更高，因此在 SimpleQA 上「分数低」有时只是「更保守」，必须和 Incorrect 率一起读。
- 部分模型选择”不回答”来降低错误率——形成 Correct vs Attempted 的权衡
- 中文版 Chinese SimpleQA 上国产模型明显更好（豆包 64% vs GPT-4o 59%）
- 校准能力仍是空白：官方设计说明里明确承认，SimpleQA 只测短形式事实召回，不覆盖长文本生成中的幻觉，也不直接测「模型是否知道自己不知道」。
关联基准
- Chinese SimpleQA：中文版，含中国特色知识
- TruthfulQA：测试模型在”常见误解”上是否说真话
- MMLU：更广的知识评测（但有选项可猜）
不足与展望
- 只测事实检索，不测推理能力
- 答案可能随时间变化（如”现任总统是谁”）
- 没有测模型的校准能力——模型是否知道自己不知道