返回评测
推理 科学推理 已饱和 模态 · 文本 任务 · 选择 / 判断

GPQA Diamond

GPQA 的精选版本，198 道经过双重验证的极高质量研究生级问题

NYU ·
已接入战绩榜 · 当前最高实测分 96.1% GPT-6 Astra（OpenAI） on GPQA Diamond Artificial Analysis 统一协议复测 · 抓取于 2026-10-19 查看 →

考察能力

研究生级科学 专家推理 跨学科

构建信息

数据规模
198 questions
评测方式
标准评测
核心指标
Accuracy

资源链接

论文: arXiv:2311.12022

模型效果排行

🥇 Gemini 4 Argon (Google, high; Epoch AI Benchmarking Hub 独立跑, 榜期 2026-10-19, 291 模型榜第 1; 本基准首次越过 96%)
96.4% 2026-10
🥈 GPT-6 Astra (OpenAI, 2026-09-03 发布表, vendor 96.0%; Epoch AI 同榜期独立跑 max 为 95.8%, 两 lane 差 0.2pp)
96.0% 2026-09
🥉 Claude Sonnet 5.5 (Anthropic, 2026-09-28 发布; Epoch AI 独立跑 max, 榜期 2026-09-29, 319 模型榜第 2; 中端档位首次进入本榜前八)
95.6% 2026-09
4. Sakana Fugu-Ultra (Sakana AI, BenchLM 7/12)
95.5% 2026-07
5. Sakana Fugu (Sakana AI, BenchLM 7/12)
95.5% 2026-07
6. GPT-6.1 Sol (OpenAI, 2026-09-29 发布; Epoch AI 独立跑 max, 榜期 2026-09-29; $2/$10 定价仅为 Astra 的 1/5, 与榜首差 0.6pp)
95.4% 2026-09
7. Gemini 3.8 Flash (Google, high; Epoch AI 独立跑, 榜期 2026-10-19; Vals AI 2026-09-01 独立跑为 94.4%, 两 lane 差 1.0pp, 两值并存不判真值)
95.4% 2026-10
8. Grok 4.6 (xAI, TensorFeed 8/27, 独立评测 94.9%; Epoch AI 同榜期 high 档为 94.0%, 两 lane 差 0.9pp)
94.9% 2026-08

为什么重要

GPQA Diamond 是 GPQA 的”钻石”子集——每道题都经过领域专家和非领域专家的双重验证：专家能答对但非专家（即使查阅资料 30 分钟）也答不对。198 题虽少但质量极高，成为衡量模型”真正科学推理”的金标准。

构建方式

从 GPQA 448 题中筛选同时满足以下条件的题目：(1) 至少 2 位领域专家一致答对；(2) 至少 2 位非领域专家答错。覆盖物理、化学、生物三大学科。

任务示例

  • 领域：量子化学
  • 问题涉及分子轨道理论的具体计算
  • 需要研究生级别的专业知识才能正确推理

2026-10-10 更新：Epoch AI 独立跑 lane 入榜，两条同源冲突必须并存

Epoch AI 自己跑的 GPQA Diamond 榜（319 个模型，最后更新 2026-09-29）在 2026-10 首次成为可用的独立对照。它的头部是：

#模型（档位）Epoch AI出处
1GPT-6 Astra (max)95.8%Epoch
2Claude Sonnet 5.5 (max)95.6%Epoch
3Gemini 3.8 Flash (high)95.4%Epoch
4GPT-6.1 Sol (max)95.4%Epoch
5Gemini 3.7 Flash (high)94.8%Epoch
6GPT-5.4 Pro (xhigh)94.6%Epoch
7Gemini 3.1 Pro Preview (high)94.4%Epoch
8GPT-6 Sol (max)94.3%Epoch

本轮据此把 Claude Sonnet 5.5（95.6%）与 GPT-6.1 Sol（95.4%） 两条新条目并入 topResults——它们是此前完全缺失的模型，且来自同一条独立 lane。

但有两条同源冲突，本轮不判真值：

  1. Astra：厂商发布表 96.0% vs Epoch 独立跑 95.8%，差 0.2pp。方向是”独立跑低于厂商自报”，符合常识，但 0.2pp 在 198 题上只有 0.4 道题，不构成任何结论。topResults 保留 96.0%（跨轮可比），Epoch 值记此。
  2. Gemini 3.8 Flash：Vals AI 独立跑 94.4%（原始值 94.444，榜期 2026-09-01）vs Epoch 独立跑 95.4%（high 档），差 1.0pp，而两个都是独立评测。方向与前一条相反。这一条特别值得盯：它说明”独立评测之间也会差一个百分点”，所以把任何一个独立值当作真值都不成立。topResults 保留 Vals 的 94.4%，被本轮挤出的两条（Fable 5 94.5%、Gemini 3.8 Flash 94.4%）原文数值保留在此处备查。

第三点才是本轮真正的信号：Sonnet 5.5 是 Anthropic 的中端档位（$2/$10），GPT-6.1 Sol 是 OpenAI 的廉价档位（$2/$10，Astra 的 1/5）——两个”非旗舰”挤进了这个已饱和榜的第二和第五，而两家各自的旗舰（Opus 5.5 / Astra）分别只有 93.9% 和 95.8%。在 GPQA Diamond 上，“旗舰 > 中端”这个默认假设已经不成立了；这与 2026-09 在 Terminal-Bench 4.0 上观察到的”中端反超旗舰”是同一个现象在知识类基准上的复现。

读法提醒：本卡 topResults 混合了厂商发布表、BenchLM 镜像、TensorFeed、Vals AI 与 Epoch AI 五类口径。榜单降序只是合规排序，跨行的 0.5pp 差异不表示能力差异——在 198 题的规模上，1pp 只有 2 道题。

最新进展

  • 2026-10-19：Gemini 4 Argon（high）以 96.4% 接替头名，是 GPQA Diamond 首次有模型越过 96%。 数据取自 Epoch AI Benchmarking Hub（榜期 2026-10-19，291 个模型配置），本轮经 BenchLeader 镜像取得。三点读法：① lane 对齐有两条硬证据——同一份 Epoch 快照里 Claude Sonnet 5.5 = 95.6%、GPT-6.1 Sol = 95.4%，与本卡 09-29 记录的 Epoch 值逐字吻合，故判定同 lane，新条目可入榜；② Astra 出现 vendor 96.0% / Epoch 95.8% 的双值，差 0.2pp 在噪声内，两值并存不判真值，卡内保留 vendor 值仅为保持跨轮可比；③ 头名与第五名只差 1.0pp（96.4 vs 95.4），约等于 198 题里的 2 道题——按 08-27 那条「标签噪声天花板」的判据，这个区间内的任何排序都不构成能力结论
  • 2026-10-19 未进前八的 Epoch 新条目（仅正文记录）：Gemini 3.7 Flash 94.8%、GPT-5.4 Pro（xhigh）94.6%、Gemini 3.1 Pro 94.4%、GPT-6 Sol 94.3%、Gemini 3.6 Flash 94.1%、Grok 4.6（high）94.0%、Claude Opus 5（max）93.9%。第 2 到第 15 名全部落在 95.8%–93.9% 的 1.9pp 区间内，198 题的粒度（0.51pp/题）意味着这段排名几乎全在噪声里
  • 2026-09-14 补录：Gemini 3.8 Flash 以 94.4% 进入前八（Vals AI 独立跑，原始值 94.444，榜期 2026-09-01）。两点值得记：① 这是 Flash 档模型（$0.75/$3.75 每百万），单题成本约 $0.056，比一众旗舰低一到两个数量级，却排进了这个被公认为”已饱和”的榜的前八；② 与厂商自报口径再次错位——Google 自己的发布表给 Gemini 3.8 Flash 的 GPQA Diamond 是 94.5%，Vals AI 跑出 94.4%，两者只差 0.1pp，是这波新模型里罕见的口径一致；同期 Gemini 3.1 Pro 的 95.5% 仍是已验证最佳。另外注意：Anthropic 给 Fable 5.1 报的 GPQA Diamond 是 92.6%，低于本榜第八名，不构成更新
  • 2026-09-04：Artificial Analysis 在 Intelligence Index v4.2 中正式移除 GPQA Diamond，理由是”前沿模型已能稳定做对、不再具备区分度”。这是该基准自 2024 年成为科学推理金标准以来，首次被主流综合指数点名退役。顶替它的两项是 Surge AI 的 GDP.pdf（长文档推理）与 AA 自研的 AA-Briefcase（agentic 知识工作）。同批调整还包括把私有留出测试集的权重从 20% 提到 40%
  • 2026-09-03：GPT-6 Astra 以 96.0% 创下 GPQA Diamond 新高（OpenAI 发布表口径，Claude Fable 5.1 在同一张表里为 93.7%）。这是该基准首次有模型突破 96%，也让”前五名挤在 1 个百分点内”的老问题变得更严重——Top 5 全部落在 94.5%–96.0%
  • 2026-05：GPQA Diamond 排行榜快速接近天花板，Top 5 均超 94%，Gemini 3.1 Pro Preview 以 95.5% 领先
  • 2026-05：GPT-5.4 Pro 以 94.5% 首次进入 Top 3，紧追 Mythos Preview (94.6%)
  • 2026-05：Gemini 3.1 Pro 更新至 94.3%（此前为 91.7%），Google 模型在科学推理上追赶迅速
  • 2026-05：vals.ai 独立验证排行榜更新，Gemini 3.1 Pro Preview 以 95.5% 首次突破 95%
  • 2026-05：Claude Opus 4.7 在厂商自报告中为 94.2%，但 vals.ai 验证仅 90.2%，验证差距达 4pp
  • 2026-06：pricepertoken.com 排行榜更新至 281 模型，Qwen3.7 Max 以 92.3% 进入 Top 7，Gemini 3.5 Flash 以 92.2% 紧随其后
  • 2026-06：Gemini 3.5 Flash（Google 最新推理模型）在 GPQA Diamond 上达 92.2%，Google 模型在科学推理上持续领先
  • 2026-06：MiniMax M2.7 达 87.4%，GLM 5.1 达 86.8%，MiMo V2.5 Pro 达 86.6%，中国模型在 85-87% 区间聚集
  • 关键趋势：GPQA Diamond 排行榜已覆盖 281 模型，成为推理基准中参与度最高的之一；Top 5 均超 94%，基准已饱和；推理竞赛正在转向 HLE (Humanity’s Last Exam) 和 FrontierMath
  • 2026-06：Claude Opus 4.8 发布，GPQA Diamond 达 93.6%（vs Opus 4.7 94.2%，下降 0.6pp，Anthropic 自评），与 GPT-5.5 在 GPQA Diamond 上完全打平，确立 GPT/Claude 双雄格局
  • 2026-06：awesomeagents.ai 报告 Fable 5 (suspended) 在 GPQA Diamond 上约 95%（基于第三方推断），若恢复将进一步拉高榜首
  • 2026-06：DeepSeek V4 Pro 达 90.1%，GLM 5.1 达 86.8%，MiMo V2.5 Pro 达 86.6%，中国厂商在 GPQA Diamond 上整体处于 85-90% 区间
  • 2026-06-08：云知声 U2 模型发布，GPQA Diamond 87.9%，混合思考机制（显式 CoT + 隐空间推理动态切换）下表现优于多数 200B+ 模型
  • 关键趋势：GPQA Diamond 已完全饱和（Top 10 压缩至 95-92%），新一代区分度基准 HLE (Humanity’s Last Exam) 和 FrontierMath 成为新焦点；Opus 4.8 vs GPT-5.5 同步 93.6% 标志两强格局稳定
  • 2026-07-01：Anthropic 公布 Claude Fable 5 在 GPQA Diamond 上达 93.8%（vendor scaffold），虽未进入 Mythos Preview 94.6% 历史最高分，但考虑到 Fable 5 受限的安全分类器启用，此分数仍为顶级；Mythos 5 (受限发布) 在 Presenc AI 6月报告约 88% 与 Fable 5 出现 5-6pp 差距
  • 2026-07-01：MangoMind 7月编码报告同步显示 Fable 5 GPQA Diamond 93.8% / DeepSeek V4 94.1%，DeepSeek V4 反超 Fable 5 0.3pp 成为开源模型第一
  • 2026-07-04：DataLearner 排行榜 5月29日快照显示 Mythos Preview 扩展思考 94.6% 仍为 SOTA，GPT-5.4 Pro 94.4% / Gemini 3.1 Pro Preview 94.3% / Opus 4.7 94.2% 形成紧密 Top 4 集群
  • 2026-07-06：aiflashreport.com 7月排行榜显示 GPT-5.5 93.5% / MiniMax M3 92.9% / Fable 5 92.6% 形成新的 Top 3 区间，Opus 4.8 与 GPT-5.4 并列 92.0%，Gemini 3.5 Flash 91.1% 跌出 Top 5——Top 6 进一步压缩至 95-92% 区间
  • 2026-07-06：VibeThinker-3B（微博 3B 小模型）在 GPQA Diamond 上仅 70.2%，与其 AIME 2026 94.3% / LiveCodeBench 80.2% 形成强对比——GPQA Diamond 仍是”模型通用能力”最有效的区分度来源之一
  • 关键趋势：GPQA Diamond 已彻底饱和（Top 4 集群 94-95%），aiflashreport 101 模型排行榜上无新模型突破 96%；行业共识是 HLE / FrontierMath / USAMO 2026 等更难基准正在替代 GPQA Diamond 作为推理新标尺；7月报告显示 Anthropic (Fable 5/Mythos 5) / OpenAI (GPT-5.5) / 谷歌 (Gemini 3.5 Flash) / DeepSeek / Qwen / MiniMax 形成多极格局 77→- 2026-07-07：BenchLM 排行榜更新——Sakana Fugu-Ultra 和 Sakana Fugu 双双以 95.5% 登顶 GPQA Diamond（Sakana AI 最新模型），超越此前 Gemini 3.1 Pro Preview 的 95.5%（并列）；Claude Fable 5 94.5%、Mythos 5 94.1% 紧随；Top 2 差距仅 0.0pp，Sakana AI 代表日本 AI 首次进入 GPQA Diamond 巅峰 78→- 2026-07-06：腾讯混元 Hy3 正式版 GPQA Diamond 达 90.4%（MoE 295B/21B 激活），接近 GPT-5.5 的 93.6%；在 12 个评测维度上全面正向增长；幻觉率从 Preview 版 12.5% 降至 5.4% 79→- 2026-07-08：Grok 4.5（xAI，V9~1.5T）发布，GPQA Diamond 暂无独立第三方验证数据；vendor-reported 数据待 xAI 公布 80→- 关键趋势：GPQA Diamond 已完全成为”已饱和”基准——Sakana Fugu 系列以 95.5% 追平历史最高，Top 8 压缩至 95.5%-93.6% 仅 1.9pp 区间；Sakana AI（日本）/ Anthropic（美）/ DeepSeek（中）形成多极格局，DeepSeek V4 以 94.1% 成为首个突破 94% 的开源模型；新一代区分度基准 HLE（SOTA 64.5%）和 FrontierMath 正在接管推理评测
  • 2026-07-12：BenchLM GPQA (全量) 排行榜更新至 69 模型——Sakana Fugu-Ultra 和 Fugu 均以 95.5% 并列第一，Sakana AI 成为 GPQA 新王
  • 2026-07-12：DeepSeek V4 以 94.1% 成为开源模型历史最高分（MangoMind 独立评测），超越多个闭源旗舰（Opus 4.8 93.6%、GPT-5.5 93.6%），标志开源模型在极致推理上首次接近闭源天花板
  • 2026-07-16：Kimi K3（Moonshot AI, 2.8T MoE）以 93.5% 进入 GPQA Diamond，标志着 Moonshot 新旗舰在学术推理上接近第一梯队
  • 2026-07-09：GPT-5.6 Sol（OpenAI，max 推理预算）在 Artificial Analysis 独立评测中 GPQA Diamond 达 94.1%，与 Mythos 5 并列第 5；GPT-5.6 三档（Sol/Terra/Luna）GPQA Diamond 分数未全部公开，仅 Sol 获得独立验证——Sol 的 94.1% 较 GPT-5.5 (93.6%) 提升 0.5pp，边际增长有限反映基准天花板效应
  • 2026-07-06：腾讯混元 Hy3 正式版 GPQA Diamond 达 90.4%（MoE 295B/21B 激活），虽未进入 Top 8 但较 Preview 版大幅提升；Hy3 在 AIME 2026 (97.0%) 和 SuperChem (54.9%) 上的表现与 GPQA Diamond 90.4% 形成对比——数学能力 vs 跨学科科学推理在国产开源上仍存在显著差距
  • 关键趋势：GPQA Diamond 彻底进入”小数位竞赛”——Top 3 (95.5%) 与 Top 8 (93.6%) 差距仅 1.9pp；Sakana Fugu-Ultra 以 95.5% 追平历史 SOTA 标志日本 AI 首次登顶 GPQA；行业已实质放弃 GPQA Diamond 作为区分度来源，全面转向 HLE / FrontierMath / USAMO 2026 等更难基准
  • 2026-07-09：GPT-5.6 Sol（OpenAI 最新旗舰）在 vals.ai 独立评测中 GPQA Diamond 达 95.2%（max reasoning），超越 Claude Fable 5 (93.2%) 2.0pp；GPT-5.6 Sol 与 Gemini 3.1 Pro Preview (95.5%) 差距仅 0.3pp，已无限接近历史天花板
  • 2026-07-09：vals.ai 更新 GPQA Diamond 排行榜至 121 模型——Top 3 为 Gemini 3.1 Pro Preview 95.5% / GPT-5.6 Sol 95.2% / Claude Fable 5 93.2%；BenchLM 排行榜独立显示 MiniMax M3 92.9% / Qwen3.7 Max 92.4% / Gemini 3.5 Flash 92.2% 形成 92%+ 密集集群
  • 关键趋势：GPT-5.6 Sol 将 GPQA Diamond 天花板推至 95.2%，仅比历史最高 (95.5%) 低 0.3pp；95-92% 区间内聚集了 5+ 个模型，基准已完全丧失区分度；业界共识 GPQA Diamond 已实质退役——未来引用此基准应标注”历史参考”而非当前区分度指标
  • 2026-07-12：BenchLM AA 口径下 Grok 4.5 GPQA Diamond 93.1%（独立验证），Claude Sonnet 5 91.1%，Qwen3.7 Max 90.8%——Grok 4.5 在科学推理上处于第二梯队（93% 区间），与第一梯队（95%+）差距约 2pp
  • 关键趋势终局判断：GPQA Diamond 作为评测基准的生命周期已走到终点——Sakana Fugu 系列（95.5%）= Gemini 3.1 Pro Preview（95.5%）= 历史天花板，无模型再有突破空间（198 题规模限制）；GPQA Diamond 的历史价值在于它是首个证明”LLM 可超越人类博士专家”的基准，但 2026 年 7 月起应被 HLE / FrontierMath v2 正式替代
  • 2026-07-16：Kimi K3（Moonshot AI，2.8T MoE）GPQA Diamond 93.5%（vendor scaffold），与 GPT-5.5 持平，成为首个突破 93% 的中国开源模型
  • 2026-07-21：Gemini 3.6 Flash（Google，$1.50/$7.50 per 1M）GPQA Diamond 92.8%（AA 独立验证），较 3.5 Flash (92.2%) +0.6pp，Flash 级模型首次接近 93% 门槛
  • 2026-07-23：BenchLM GPQA 排行榜更新——Sakana Fugu-Ultra 95.5% 仍为 SOTA；GPT-5.6 Sol 94.6%（AA 独立验证）、Claude Opus 4.7 Adaptive 94.2% 紧随；Top 8 压缩至 95.5%-93.5% 仅 2.0pp 区间
  • 关键趋势终局：GPQA Diamond 已进入”休眠态”——SOTA 95.5% 自 Gemini 3.1 Pro Preview 以来未再突破；Kimi K3 93.5% 标志中国开源模型在科学推理上追平 GPT-5.5；行业共识：引用 GPQA Diamond 时应标注”历史参考”，新一代区分度来源为 HLE (SOTA 64.5%) 和 FrontierMath v2
  • 2026-07-24：Claude Opus 5（Anthropic 新旗舰）发布，GPQA Diamond 93.2%（vendor-reported），未进入 Top 8（门槛 93.6%）。Opus 5 的 GPQA Diamond 分数较 Opus 4.8 (93.6%) 反而下降 0.4pp——这并非”退步”，而是 Anthropic 优化重心全面转向 Frontier-Bench (43.3%)、ARC-AGI-3 (30.2%)、GDPval-AA (1861 Elo) 等新一代 Agent/泛化能力基准的体现。Opus 5 在 GPQA Diamond 上”不升反降”证实了该基准已彻底丧失区分度的行业共识
  • 关键趋势终局确认：Claude Opus 5 在 GPQA Diamond 上不升反降（93.2% vs Opus 4.8 93.6%）是最强烈的信号——当前旗舰模型之间的差异已完全无法通过 GPQA Diamond 区分；198 题规模 + 95.5% 天花板意味着任何新模型进入 Top 8 都需要逼近 94%+，但 94-95.5% 区间的 1.5pp 内挤满了 5+ 模型；GPQA Diamond 作为评测基准已正式退役
  • 2026-08-03：Qwen3.8-Max（阿里，2.4T MoE）GPQA Diamond 92.6%（vendor），与 Claude Fable 5 (92.6%) 持平，但仍未进入 Top 8（门槛 93.6%）——2.4T 参数旗舰在已饱和基准上”挤不进前 8”，再次印证 198 题规模 + 95.5% 天花板已让 GPQA Diamond 彻底丧失区分度
  • 2026-08-27：TensorFeed 排行榜刷新（35 个模型），Grok 4.6 以 94.9%（独立评测）升至第三、Gemini 3.7 Flash 以 94.5%（独立评测）并列第五，是 8 月唯二挤进 Top 8 的新面孔。两者均为独立评测口径而非厂商自报，可信度高于同期多数 vendor 数据。Top 8 因而压缩到 95.5%–94.1% 的 1.4pp 区间
  • 2026-08-27：标签噪声天花板（label-noise ceiling）——为什么 Top 8 的差距不能当真。Diamond 只有 198 题：一个 94% 的模型大约错 12 题。专家复核已指出其中约 2–3 题存在歧义或标错，因此实际可达上限约在 97%–98.5%。这意味着 94% 与 96% 之间的差距只有 4 道题，而其中可能有 1–2 道根本没有正确答案。在天花板附近，分数差衡量的是”与答案键的一致程度”，不是能力。推论有三：(1) 满分不可达也不可喜——在已知存在坏题的集合上拿 100% 意味着模型把错误也记住了；(2) 两个强模型在 12 道题上的分歧，部分是对”哪几道题出错了”的分歧；(3) 剩余空间不具代表性——有机化学约占 Diamond 的 36%，却占最难未解问题的约 70%，最后那几分测的是单一子领域而非研究生科学整体
  • 2026-08-27：难度声明的相对性问题。GPQA 的难度是相对于 2023 年”带着搜索引擎的人类”这一参照群体验证的——非专家在有网、30 分钟以上的条件下准确率 34%，专家 65%（调整后 74%）。但今天参加测试的并不是那个群体。数据集自带的 canary string 说明作者从一开始就意识到这一点。用人类检索的成本结构去类比模型从训练语料中回忆，是两个不同的操作

关键发现

  • 人类非专家准确率约 34%（接近随机猜测）
  • 人类专家准确率约 81%
  • 最好的 LLM 在 53-65% 之间，说明仍有很大提升空间
  • 是少数能有效区分顶级模型的基准之一

关联基准

GPQA（完整版）、FrontierMath（数学前沿）、SciBench（科学计算）

不足与展望

198 题规模限制了统计置信度。学科覆盖偏 STEM，缺少人文社科。

研究生 极难 科学 精选 GPQA