为什么重要
GPQA（Graduate-Level Google-Proof Questions and Answers）是目前最难的科学推理基准之一。题目由各领域博士编写，非专业人士即使可以上网搜索也只能答对 34%。这意味着题目真正考察的是深度领域知识和推理，不是检索能力。
构建方式
- 由 PhD 级别的领域专家（物理、化学、生物）编写多选题
- 每道题同时由同领域专家和非同领域专家（但有科学背景）尝试回答
- 只保留”同领域专家能答对、非专家即使上网搜也答不对”的题目
- Diamond 子集（198 题）：经过最严格的多轮验证
任务示例
示例 1（物理）：
“考虑一个质量为 m 的粒子在一维谐振子势中运动，如果在 t=0 时刻测量位置并得到 x₀，那么在时间 t 后再次测量位置，得到 x₀ 的概率振幅是什么？” 需要量子力学传播子的知识和计算能力
示例 2（化学）：
“在以下反应机理中，哪个步骤是速控步骤？给出四种可能的机理路径。” 需要有机化学反应动力学的深层理解
关键发现
- 推理模型在 GPQA 上提升最大：o3 (87.7%) vs GPT-4o (53.6%)——差距 34 个百分点
- Diamond 子集是最常用的评测子集（198 题），被 HF Open LLM Leaderboard v2 采用
- 专家 vs 非专家差距（81% vs 34%）说明这些题目确实需要深度领域知识
最新进展
- 2026-05：Claude Mythos Preview 以 94.6% 领跑 GPQA Diamond，但为限发布模型
- 2026-05：GPT-5.4 Pro (94.4%) 和 Gemini 3.1 Pro (94.3%) 紧随其后，Top 4 差距仅 0.4 个百分点
- 2026-04：Claude Opus 4.7 达到 94.2%，Kimi K2.6 作为开源权重模型达到 90.5%
- 关键趋势：Top 8 全部超过 90%，GPQA Diamond 正在快速接近饱和，新的 HLE（Humanity’s Last Exam）可能成为更好的区分基准
- 2026-06：LMMarketCap 排行榜更新至 51 个模型，Gemini 3.1 Pro (94.3%) 和 Claude Opus 4.7 (94.2%) 并列领先（不含受限发布模型）
- 2026-06：DeepSeek V4 Pro 达 90.1%，Gemini 3 Flash 达 90.4%，更多模型突破 90% 门槛
- 2026-06-02：微软 MAI-Thinking-1 在 GPQA Diamond 上仅得 84.2%，在闭源前沿模型中最低，反映出其数学推理强但科学推理偏弱的特点
- 2026-06-08：云知声 U2 达 87.9%，超过 GLM-5.1、DeepSeek-V4-Flash(High) 和 MiniMax M2.7，作为国产新进入者表现亮眼
- 关键趋势：GPQA Diamond 的区分度持续下降——Top 5 差距仅 1.0pp（94.6%-93.6%），Top 9 全部超过 88%；HLE 和 FrontierMath 正在成为更有区分度的科学推理基准