返回评测
综合 综合-通用能力 接近饱和 模态 · 文本 任务 · 混合题型

HLE

2,500 道极难多模态题目，衡量 AI 专家级推理上限，14+模型突破50%天花板；Claude Opus 5.5 以 67.7%（with tools，2026-09-22）首破 65% 天花板，AA 独立实现口径下 61.4%，接近饱和

Scale AI & CAIS ·
已接入战绩榜 · 当前最高实测分 61.4% Claude Opus 5.5（Anthropic） on Humanity's Last Exam Artificial Analysis 统一协议复测 · 抓取于 2026-10-19 查看 →

考察能力

专家知识 多模态 推理 跨学科

构建信息

数据规模
2,500 questions
构建方式
全球领域专家众包，多轮审核
评测方式
标准评测（支持有无工具两种配置）
核心指标
Accuracy (%)。⚠️ 本榜存在三条互不相同的 lane（厂商 with-tools / Scale 官方 / AA 文本子集），且 2026-10 起新增 HLE-Diamond 子集，见正文「2026-10-08 更新」

资源链接

论文: arXiv:2501.14249

模型效果排行

🥇 Claude Opus 5.5 (Anthropic, with tools, 2026-09-22 发布, vendor; AA 独立实现 61.4%)
67.7% 2026-09
🥈 Claude Mythos 5.1 (Anthropic, with tools, 与 Fable 5.1 同权重, 受限发布, vendor)
65.0% 2026-09
🥉 Claude Fable 5.1 (Anthropic, with tools, 2026-09 发布, vendor)
65.0% 2026-09
4. Claude Opus 5 (Anthropic, with tools, 2026-07-24 发布)
64.7% 2026-07
5. Claude Mythos Preview (Anthropic, extended thinking + tools)
64.7% 2026-07
6. Claude Sonnet 5.5 (Anthropic, with tools, 2026-09-28 发布, vendor 自报; 中端档位首次进入本榜前八)
64.5% 2026-09
7. Claude Mythos 5 (Anthropic, with tools, restricted)
64.5% 2026-07
8. Claude Fable 5 (Anthropic, with tools, restored 7/1)
64.5% 2026-07

为什么重要

当 MMLU 接近饱和（90%+）、GPQA 也被追近（94%+）时，HLE（Humanity’s Last Exam）代表了”下一代难度”——即使是 2026 年的最强模型，在配备工具后也仅能答对约 65%。题目由全球领域专家设计，涵盖高等数学、物理、法律、医学等领域。2026 年 1 月发表于 Nature，成为衡量 AI 推理上限的权威基准。

HLE 的核心价值在于：它仍然能区分前沿模型之间的差距。当其他基准纷纷饱和时，HLE 的 SOTA 从 2025 年初的 26.6%（o3）飙升至 2026 年 7 月的 64.7%（Claude Opus 5），进步巨大。

2026 年 7 月里程碑——“50% 天花板”正式告破：HLE 长期被视为”无模型可过半”的终极壁垒。但截至 2026 年 7 月，BenchLM 追踪的目录中已有 14 个模型突破 50%，Top 工具辅助分数达 64.5%。此前两年，“无模型过半”这句话出现在每一篇关于 HLE 的报道中——现在它已经过时了。天花板破了，但尚未触顶：接近 65% 仍意味着约 1/3 的专家级问题无人能解，HLE 在可预见的未来仍是区分度最高的综合基准之一。

构建方式

  1. 全球领域专家众包提交极难题目
  2. 2,500 道多模态多选题 + 开放式问答
  3. 每道题都经过多轮专家审核，确保答案正确且无歧义
  4. Scale AI 和 CAIS（Center for AI Safety）联合组织
  5. 2026 年 1 月发表于 Nature，成为学术界和工业界广泛引用的基准

任务示例

示例 1（高等数学）：需要用到代数拓扑的知识才能解答的题目 示例 2（法律推理）：涉及多个判例法冲突的复杂法律问题 示例 3（医学）：需要整合多项检查结果才能做出的罕见病诊断

关键发现

  • SOTA 进步惊人：从 2025 年初 o3 的 26.6%，到 2026 年 4 月 Mythos 的 64.7%，一年内提升 38pp
  • 三强混战：Anthropic (Mythos 64.7%)、OpenAI (GPT-5.4 Pro 58.7%)、Meta (Muse Spark 58.4%) 差距仅 ~6pp
  • Opus 4.8 在无工具设置下领先：49.8% vs GPT-5.5 的 41.4%，跨学科推理稳定领先 7-8pp
  • 工具效应显著且稳定：Opus 5 有工具 64.7% vs 无工具 56.3%（提升 8.4pp）；Opus 4.8 有工具 57.9% vs 无工具 49.8%（提升 8.1pp），两代模型工具效应几乎一致（~8pp），说明 HLE 对工具增强的边际收益稳定——工具主要弥补检索型知识而非深度推理
  • 模型在”冷门学科”上仍极差：音乐理论、考古学等领域正确率低于 20%
  • 推理模型优势缩小：非推理型模型（Muse Spark Contemplating）通过高质量数据也能达到 58.4%
  • 中国模型快速追赶：Kimi K3 以 56%（w/ tools）成为首个突破 55% 的中国开源模型；GLM-5.2 54.7%、Hy3 53.2% 紧随，国产开源在专家级推理上形成”梯队”

最新进展

  • ⭐ 2026-10-17 更新：HLE 的 no-tools lane 首次有完整 42 模型榜可读，它把「工具增益与档位负相关」从 4 个观测点补到 7 个，并给出一个此前没人提过的事实——纯知识口径下 OpenAI 与 Google 全部掉出前 18。 本轮只进正文、不动 topResults（理由见文末）。 BenchLM 的「Humanity’s Last Exam without tools」镜像（2026-10-12，42 模型）前 14 名：

    #模型 / 配置no tools
    1Claude Opus 5.564.4%
    2Claude Fable 5.160.9%
    3Claude Mythos 559.0%
    4Claude Sonnet 5.556.9%
    5Claude Opus 556.3%
    6Muse Spark 1.152.2%
    7Sakana Fugu-Ultra50.0%
    8Claude Opus 4.849.8%
    9Pareto 26.9 (Unbiased)49.0%
    10Sakana Fugu47.2%
    11Claude Opus 4.7 (Adaptive)46.9%
    12Claude Haiku 5.545.9%
    13Gemini 3.1 Pro45.4%
    14Ornith-1.5-397B（开源权重，本 lane 开源最高）44.6%

    往后依次是 Qwen3.8 Max 43.6、Kimi K3 43.5、Hy4 preview 43.4、Claude Sonnet 5 43.2、GPT-5.5 Pro 43.1（OpenAI 在该 lane 的最高条目）、Muse Spark 42.8、GPT-5.4 Pro 42.7、GPT-5.5 41.4、GLM-5.2 40.5、Claude Opus 4.6 40.0。

    ① lane 可验证：Fable 5.1 的 60.9、Sonnet 5.5 的 56.9、Haiku 5.5 的 45.9、Opus 4.8 的 49.8 四条与本卡已记录的 Anthropic 自报 no-tools 值逐字吻合，判定同一 lane。唯一对不上的是 Opus 5：本 lane 给 56.3%，而本卡此前记的 AA 独立值是 52.6%，差 3.7pp，两值并存不判真值。

    ② 工具增益 vs 档位：从 4 个观测点补到 7 个，负相关成立。 把本 lane 的 no-tools 与卡内 with-tools 值合起来：

    模型no toolswith tools工具增益
    Claude Opus 5.5（旗舰）64.4%67.7%+3.3pp
    Claude Fable 5.1（旗舰）60.9%65.0%+4.1pp
    Claude Opus 4.849.8%57.9%+8.1pp
    Claude Opus 556.3%（另记 52.6%）64.7%+8.4pp（另计 +12.1pp）
    Claude Sonnet 5.5（中端）56.9%64.5%+7.6pp
    Claude Haiku 5.5（小模型）45.9%57.4%+11.5pp

    除 Opus 5 那条有口径冲突外，其余增益随 no-tools 基线单调下降：基线越高，工具能补的越少。这条不是「谁更强」的结论，而是「HLE 里的纯知识与检索执行是两种可分离能力」的第七个观测点——与本卡 2026-10-15 记下的 Haiku 5.5 一对数字、10-08 记下的 Astra 在 HLE-Diamond 上 +23.0pp 属同一现象的三个切片。

    ③ 纯知识口径下的阵营形状，与 with-tools 口径完全不同。 前 12 名里 Anthropic 独占 7 席，另有 Sakana AI 两条与 Pareto 一条；OpenAI 的最高条目（GPT-5.5 Pro 43.1%）排在第 19，Google 的最高条目（Gemini 3.1 Pro 45.4%）排在第 13。开源权重最高是 Ornith-1.5-397B 的 44.6%（第 14），高于 Kimi K3（43.5）与 Qwen3.8 Max（43.6）。 这条要小心读：它不能推出「OpenAI 模型知识差」——with-tools 口径下 Astra 是 57.2%，比它自己 no-tools 的任何公开值都高。更合理的解释是各家对「不带工具」这个设置的投入不同：谁把 HLE 当知识考试训，谁就在这个 lane 上高。

    ④ 本 lane 的最高分 64.4% 与 with-tools 的最高分 67.7% 只差 3.3pp，说明 2026-10 的头名已经不再依赖工具——这与 2024–2025 年「突破 50% 靠工具 + 推理预算」的旧叙事完全相反。工具在 HLE 上的边际收益正在被模型自身的参数化知识吃掉。

    为什么不动 topResults：本卡 topResults 是 with-tools / vendor 口径，本 lane 是 no-tools，两者不同量。把 Opus 5.5 的 64.4% 插进去会与 Mythos 5.1 的 65.0%、Fable 5.1 的 65.0% 挤在同一档制造并列假象；把 64.4% 与 67.7% 并列更会让同一模型出现两条记录。按本卡一贯做法：跨 lane 的值只进正文。

  • 2026-10-15 更新：Haiku 5.5 给出小模型档位的第一对 no-tools / with-tools 完整读数，本轮只进正文、不动 topResults。

    • Anthropic 于 2026-10-07 发布的 Claude Haiku 5.5 在 HLE 上给出 no tools 45.9% / with tools 57.4%（均为 max effort，system card 自报；98 万 token 任务预算、Opus 4.6 作 grader）。57.4% 进不了 topResults——本榜第八名是 Claude Fable 5 的 64.5%，57.4% 落后 7.1pp，所以本轮按既有规则只写正文。

    • 但这一对数字给出了此前没有的信息：工具增益与模型档位负相关。把 Anthropic 自家三档的 no-tools / with-tools 摆在一起看：

      模型no toolswith tools工具增益
      Claude Sonnet 5.5（中端）56.9%64.5%+7.6pp
      Claude Haiku 5.5（小模型）45.9%57.4%+11.5pp
      Claude Haiku 4.5（上代小模型）10.2%18.7%+8.5pp
      Claude Fable 5.1（旗舰）60.9%65.0%+4.1pp

      越弱的模型从工具里拿到的相对越多。这与 2026-10-08 记下的 HLE-Diamond 子集上 Astra 的 23.0pp 工具增益是同一现象的两个观测：HLE 里”纯知识”与”检索+执行”是两种可以分开的能力，前者随档位陡峭变化，后者被工具显著抹平。

    • 另一条值得并排看的：Haiku 5.5 的 45.9%（no tools）已经高于 Haiku 4.5 的 18.7%（with tools）。上代小模型带工具都做不到的题，这代小模型不带工具就能做到——代际跃迁的量级远大于工具开关的量级。

    • ⚠️ 三条限定：① Haiku 5.5 的 HLE 由 Anthropic 自跑，没有第三方独立复现；② 上表 Fable 5.1 的 60.9% 来自 5.1 system card，与 Haiku 5.5 的 98 万 token 预算是否同口径未说明；③ Haiku 4.5 的 with-tools 值用的是 6 万 token 思考预算 + 16 万 token 任务预算（为了塞进它 200K 的上下文），与前两者不是同预算，横向比较时这条只能当粗略参照。

  • 2026-10-08 更新：HLE 现在有四条互不相同的曲线，本轮全部只进正文、不动 topResults。

    • 新增子集 HLE-Diamond：GPT-6 Astra 在该子集上给出 无工具 59.9% / 带网页与代码工具 82.9%，两个值差 23.0pp。这是目前公开可见的 HLE 系里最高的单条数字，但它是子集分，不是全量 2,500 题分——与本卡 topResults 的 2,500 题口径不同量，不可比。工具增益 23pp 这个幅度本身倒是值得记：它比 Astra 在全量 HLE 上 54.8%→57.2% 的工具增益大一个量级，说明 Diamond 子集的题目更依赖检索与执行，而非纯知识。
    • Scale 官方榜（2026-10-06 快照）头名是 GPT-6 Astra 54.80 ± 1.94，而本卡 topResults 的头名是 vendor 口径的 Opus 5.5 67.7%——同一个基准上两个头名差 12.9pp，且分属不同模型。AA 的第三条曲线是 Opus 5.5 61.4%（2,158 道纯文本题）。三条 lane 排序不一致不是数据错误，而是题集（2,500 全量 / 2,158 文本子集）、工具配置与裁判不同所致。引用 HLE 数字时必须写明是哪条 lane。
    • ⚠️ 顺带一条对本基准可信度的外部质疑：FutureHouse 的专家审计发现，纯文本的化学与生物题里有 29 ± 3.7% 的答案与已发表证据冲突；HLE 论文本身给出的公开集专家分歧率是 15.4%。这意味着 HLE 分数的天花板不是 100%，接近 65–68% 的头名可能已经触碰到了答案键本身的噪声地板——这也是本卡 saturation 维持「接近饱和」而不再往上调的原因之一。
    • 本轮不动 topResults 的理由与经验一致：四条曲线两两不同量，插任何一条进去都会制造错误排序。

  • 2026-09-22：Claude Opus 5.5 以 67.7%（with tools）把 HLE 上限从 65.0% 抬到 67.7%，“65% 天花板”半年后终于松动。Anthropic 给出的同口径对照为：Opus 5.5 67.7% / Fable 5.1 65.6% / Opus 5 63.6% / GPT-6 Astra 57.2%。同日 Artificial Analysis 的独立实现给出 61.4%，并让它成为 AA 榜 HLE 第一——两个数字差 6.3pp，属 vendor scaffold 与标准化 harness 的常规落差（本卡此前记录的 Scale SEAL 标准化口径差距约为 20pp，AA 口径明显更接近 vendor）。三点值得记：① 这是 Claude Opus 线首次在 HLE 上超过同代 Fable 线（+2.1pp），而在 Terminal-Bench 4.0 上 Opus 5.5 与 Fable 5.1 的差是 10.6pp，方向一致但幅度差 5 倍——HLE 上的代际差被压缩了。② GPT-6 Astra 的 57.2% 继续是它所有官方分数里唯一全面落后的一行，落后 Opus 5.5 达 10.5pp，“专家级单题推理”与”长程 Agent”仍是两条正交能力轴。③ saturation 维持”接近饱和”不变：67.7% 仍意味着约三分之一专家级题目无人能解，但头名已连续三代由同一家厂商包揽（Mythos Preview 64.7 → Fable 5.1 65.0 → Opus 5.5 67.7），HLE 的”区分度”正在从”跨厂商”退化为”跨代际”。

  • 2026-09-28：Claude Sonnet 5.5 报出 64.5%（with tools，vendor 自报），按分数落在 Opus 5（64.7%）之后、与 Mythos 5 和 Fable 5 同处 64.5% 一档。三条读法：① 它是本榜第一个进入前八的中端档位模型——HLE 长期被 Anthropic 的 Opus/Fable/Mythos 三条高端线与 OpenAI 高端线垄断，Sonnet 5.5 以 Sonnet 定价（$2/$10 每百万 token，为 Opus 5.5 的一半）拿到 64.5%，只比自家旗舰 Opus 5.5 低 3.2pp。② ⚠️ 但要注意它在其他基准上的跃迁形状完全不同：Sonnet 5.5 在 Terminal-Bench 4.0 上从前代 10.3% 跳到 70.6%（+60.3pp，且反超 Opus 5.5），而在 HLE 上只与 7 月的 Fable 5 持平——“长程 Agent 能力”半年内被重画，“专家级单题推理”没有。这与 09-22 记下的”HLE 上的代际差被压缩”是同一现象的另一面。③ GLM-5.3 的 62.5%（with tools，vendor）因此退出前八，它仍是本卡记录的开源权重最高值，记于此处而非删除

  • 2026-09-17 补录：GPT-6 Astra 的 57.2%（with tools） 得到 OpenAI 之外的第二方确认——AGI Society 在 2026-09-10 发布的《Evaluating Recent Claims of AGI》报告中把该数字标记为 “tested directly”，来源指向 HLE 官方站（agi.safe.ai）。这排除了”聚合站误传”的可能。同期该报告列出的 Astra 其他官方分数为：FrontierMath Tier 4 97.6%、OSWorld 2.0 72.6%、Terminal-Bench 4.0 57.9%、Agents’ Last Exam 59.3%、AutomationBench 41.4%。HLE 是其中唯一明显落后于对照模型的一行，再次印证”专家级单题推理”与”长程 Agent 能力”在 2026-09 已经分成两条独立的能力轴

  • 2026-09-14 补录：Anthropic 的 5.1 system card 把 Mythos 5.1 与 Fable 5.1 并列 65.0%（with tools）——两者是同一套权重，差别只在 safeguard 层，HLE 这种非 cyber、非 biology 的学术题不受干预影响，所以两版分数一致（对比：Terminal-Bench 4.0 上同权重差 5.1pp）。no-tools 口径下 Fable 5.1 为 60.9%，与 with-tools 的 65.0% 之间 4.1pp 就是工具增益。

  • 2026-09：HLE 与 HLE-Verified 正式分叉。 阿里与 Qwen 团队 2026-02 发布过 HLE 题库的全面校验与修正，产出 HLE-Verified 版本，修复了原版 2500 题中的大量错误。Gemini 3.8 Flash（2026-09-02）只报 HLE-Verified 的 54.9%，略高于 GPT-5.6 Sol 的 54.5% 与 Claude Opus 5 的 54.4%；这个数字与它在原版 HLE 上的 45.4% 差了近 10pp。这是两条不同的曲线，不能混排——本卡 topResults 一律为原版 HLE（with tools）。

  • 2026-09-03：Claude Fable 5.1 以 65.0%（with tools）刷新 HLE 榜首，“64% 天花板”终于被顶破——不过只抬升 0.3 个百分点，且仍为 vendor 自报。同期 OpenAI 的 GPT-6 Astra 在同口径下只有 57.2%，是 Astra 发布表中唯一落后于所有对照模型的一行：专家级单题推理与长程 Agent 能力继续分离

  • 2026-08：GLM-5.3（Z.ai，开源权重）以 62.5%（with tools）进入前六，是开源模型在 HLE 上的最好成绩，比上一代 GLM-5.2 的 54.7% 提升 7.8 个百分点

  • 2026-07-04：HLE “50% 天花板”正式告破——BenchLM 在例行更新中发现 14 个模型已突破 50%，立即重写了其 HLE 解释页面。此前两年，“无模型能在 HLE 上过半”是所有 AI 报道中最常被引用的论断之一。这一里程碑的倒塌标志着 HLE 从”不可逾越的壁垒”进入”接近饱和”阶段，但距触顶仍有距离（SOTA ~65%）

  • 2026-07-24：Claude Opus 5 发布，HLE 以 64.7%（with tools）追平 Mythos Preview 历史最高分，成为首个非受限发布模型达到此分数；no-tools 模式下 52.6%（AA 独立验证），较 Opus 4.8 提升 ~2.8pp

  • 2026-06：Claude Opus 4.8 在 HLE 上 Anthropic 自评领先——无工具 49.8%（vs GPT-5.5 41.4%），有工具 57.9%（vs GPT-5.5 52.2%）；USAMO 2026 成绩 96.7%（排除数据污染），单代模型证明类数学提升 27pp

  • 2026-05：Gemini 3.5 Flash 学术推理得分 40.2%，Gemini 3.5 Pro 得 46.9%（Google I/O 公布）

  • 2026-04：Claude Mythos Preview 以 64.7%（有工具）登顶 HLE 排行榜，但为受限发布模型

  • 2026-04：Muse Spark Contemplating 以 58.4% 进入 Top 3，Meta 非推理型模型表现强劲

  • 2026-03：GPT-5.4 Pro 以 58.7% 进入 Top 2

  • 2026-01：HLE 论文发表于 Nature，正式成为学术界认可的极难综合基准

  • 2026-06-18：BenchLM 排行榜更新至 40 模型，Claude Mythos 5 与 Fable 5 并列 64.5%（受限发布），GPT-5.4 Pro 58.7% 第三；Muse Spark Contemplating 因 BenchLM 新口径下落到 50.4%（此前报告 58.4%）

  • 2026-07-09：Meta Muse Spark 1.1 发布，HLE 62.1%（with tools）——Meta 首个付费 API 模型即进入 HLE Top 4，仅落后 Mythos 5/Fable 5 2.4pp，标志着”非 Anthropic/OpenAI”模型在专家级推理上缩小差距

  • 2026-07-09：GPT-5.6 Sol 发布，OpenAI 官方 Agents’ Last Exam 53.6%（全新 Agent 基准，非 HLE）；Phaseo.app 数据显示 GPT-5.6 Sol HLE 仅 36.6%（无工具）/ 47.2%（有工具，AA 数据），Sol 在 HLE 上的表现显著弱于其 Agent 基准——OpenAI 在 Agent 长程任务上投入重注但专家级单题推理仍落后 Anthropic 约 17pp

  • 2026-07-12：Phaseo.app 追踪 HLE 排行榜扩展至 166 个记录（含不同配置），Top model 仍为 Claude Mythos Preview 64.7%（有工具），Sakana Fugu Ultra 50.0%、Grok 4 Heavy 50.7% 等二线模型在 HLE 上与第一梯队差距超 14pp，HLE 仍然是区分度最高的综合基准之一

  • 2026-07-16：Grok 4.5 HLE 数据待公布（vendor 尚未发布）；基于第三方推断，Grok 4.5 在 AA-HLE 上约 40.3%，处于 GPT-5.6 Sol (47.2%) 和 Grok 4 Heavy (50.7%) 之间，推理能力暂居三线

  • 关键趋势：HLE Top 3（Mythos 5/Fable 5/Muse Spark 1.1）之间差距 2.4pp 处于压缩中，但 Top 3 与第 4 名（GPT-5.4 Pro 58.7%）之间差距达 3.4pp，“64% 天花板”半年未破；Anthropic 在 HLE 上的统治力（Mythos Preview 64.7% / Mythos 5 64.5% / Fable 5 64.5%）仍无挑战者；Muse Spark 1.1 是首个”非 Anthropic/OpenAI”模型进入 60%+ 区间，Meta 的高质量训练数据策略在专家级推理上取得突破；OpenAI GPT-5.6 Sol 在 HLE vs Agent 基准上的分裂表明”专家单题推理”和”长程 Agent 工作流”是两个不同的能力维度

  • 2026-06-18：GLM-5.2（智谱开源）以 54.7% 首次进入 Top 6，是开源权重模型在 HLE 上的新高；GLM-5.1 (52.3%)、GLM-5 (50.4%) 紧随，国产开源在专家级推理上形成”梯队”

  • 2026-06-18：Anthropic 占据 Top 2（Mythos 5 / Fable 5），但 4.8/4.7/4.6 三个 Opus 等级（57.9% / 54.7% / 53.0%）显示代际提升边际递减

  • 2026-06-18：Kimi K2.6 (34.7%)、DeepSeek V4 Pro Max (37.7%)、Qwen3.7 Max (41.4%) 在 HLE 上落后于 GLM 系列，国产开源在”专家级推理”维度上 GLM 暂时领先

  • 关键趋势：HLE 已从 Anthropic 一家独大转向 Antrhopic + OpenAI + 智谱 三强格局（Mythos/Fable 64.5% / GPT-5.4 Pro 58.7% / GLM-5.2 54.7%）；开源权重首次进入 Top 6；SageMaker HLE 排行榜已覆盖 280+ 模型，HLE 成为 2026 H2 区分度最高的综合基准

  • 2026-07-01：Fable 5 / Mythos 5 由美国商务部解禁全球恢复访问，HLE 64.5% 重新有效；Anthropic 6月30日发布 Claude Sonnet 5（intro $2/$10 价格 2 个月），同步 HLE 上达 64.5% 与 Mythos 5 / Fable 5 并列——Sonnet 5 成为 HLE 上首个”低价 + 顶级”组合的模型

  • 2026-07-06：buildfastwithai.com 7月报告确认 HLE 第一梯队 64.5% 集群为 Anthropic 三兄弟（Mythos 5 / Fable 5 / Sonnet 5），GPT-5.4 Pro 58.7% 第二；Anthropic 在 HLE 排行榜上占据绝对优势

  • 2026-07-06：mangomindbd.com 7月评测显示 Fable 5 HLE (no tools) 59.0% / DeepSeek V4 (Unfilt) 52.1% / GPT-5.6 Ultra 58.2%；Fable 5 在无工具设置下仍领先 GPT-5.6 Ultra 0.8pp，但在”abliterated”测试集上 DeepSeek V4 拒绝率 0% 暴露 Anthropic 安全分类器的实际成本

  • 关键趋势：HLE 已基本饱和但仍保留重要区分度——Anthropic (Mythos 5 / Fable 5 / Sonnet 5) 64.5% 集群 vs OpenAI (GPT-5.4 Pro 58.7%) 形成 5.8pp 领先；GLM-5.2 54.7% 巩固”开源 Top 1”地位；Muse Spark Contemplating 50.4% 表明”非推理模型”通过高质量数据 + 精细训练也能达到前沿；下一代区分度基准需要 HLE v2 或 USAMO 2026 + FrontierMath 联合评估 89→- 2026-06-25：Scale AI SEAL HLE Leaderboard（标准化 harness，文本子集）发布——Gemini 3.1 Pro Preview (thinking high) 46.44% 居首，GPT-5.4 Pro 44.32% 第二，Muse Spark 40.56% 第三；标准化 harness 下分数显著低于 Vendor scaffold（~20pp 差距），验证了 HLE 的”脚手架效应”严重；Opus 4.7 仅 36.2% 说明 Anthropic 在 Scale SEAL 标准化评测下不再占据绝对优势 90→- 2026-07-09：sophon.at HLE 排行榜融合 399 模型——Claude Mythos Preview 64.7% 仍为历史最高（vendor scaffold），Fable 5 53.3% 为 restore 后最佳标准化分数；Gemini 3.1 Pro Preview 45.7% / Opus 4.8 44.7% / Grok 4 41.0% 在标准化排名中竞争激烈

  • 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——OpenAI 未公布 HLE 成绩，转而使用 Agents Last Exam（跨 55 行业长程 Agent 工作流评测）作为替代，Sol 53.6% 创 SOTA、Terra/Luna 以约 1/16 成本超越 Fable 5；HLE 社区对此表示关注——是否意味着 OpenAI 在传统 HLE 上表现不佳而选择回避？ 91→- 关键趋势：HLE 现在存在”两套数字”的共识——Vendor scaffold（64.5% 集群）vs Scale SEAL 标准化（40-46% 区间），差距约 20pp；Anthropic (vendor scaffold) 和 Google (Scale SEAL) 在不同评测框架下交替领先；GLM-5.2 54.7% 在 vendor scaffold 口径下为开源最高，但在 Scale SEAL 下尚未独立验证；行业需要统一的 HLE 评测协议以消除框架效应

  • 2026-07-06：腾讯混元 Hy3 正式版（MoE 295B/21B 激活，Apache 2.0 开源）HLE（带工具，纯文本）达 53.2%，进入 Top 6，超越 DeepSeek V4 Pro (48.2%) 和多个闭源模型；Hy3 仅 21B 激活参数即达 GLM-5.2 (54.7%) 的 97.3%，展现极高的参数效率——HLE 得分/激活参数的比值在开源模型中领先

  • 关键趋势：HLE 形成三极格局——Anthropic (64.5% 集群)、GLM-5.2 (54.7%)、Hy3 (53.2%) 分列前三梯队；国产开源模型首次在 HLE Top 6 中占据 2 席（GLM-5.2 + Hy3），且均为开源权重；HLE 在 53-65% 区间仍有显著区分度，预计 2026 H2 成为最重要区分度基准

  • 2026-07-04：BenchLM 发布 HLE 专题分析——“50% 天花板已破”成为标志性事件。截至 7月，14 个模型在 HLE 上超过 50%；Mythos 5 / Fable 5 并列 64.5% (with tools)；关键结论：突破 50% 的路径不是模型架构突破，而是工具使用 + 推理预算增加

  • 2026-07-09：Meta 发布 Muse Spark 1.1，HLE 达 62.1%（thinking + tools），较 1.0 版 (58.0%) 提升 4.1pp，逼近 Anthropic 64.5% 集群；Muse Spark 1.1 在 HLE 上仅落后 Mythos 5 2.4pp，成为 Meta 首次进入 HLE Top 3

  • 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——OpenAI 未公布 HLE 成绩，转而发布 Agents Last Exam 53.6% (Sol, 自适应推理) 作为旗舰推理指标；Sol 在 ALE 上领先 Fable 5 13.1 分；社区关注此”回避 HLE”策略的动机

  • 关键趋势：Muse Spark 1.1 62.1% 打破了 Anthropic 对 HLE 前三的垄断（此前 Mythos 5 / Fable 5 / Mythos Preview 64.7%）；HLE 从”一超多强”转向 Anthropic vs Meta 双强对决 + GLM-5.2 第三极；OpenAI 选择 ALE 替代 HLE 引发社区对”评测选择性报告”的警惕

  • 2026-07-16：Moonshot AI 发布 Kimi K3（2.8T MoE），HLE-Full w/ tools 达 56%，超越 GPT-5.6 Sol (55.0%) 和 GLM-5.2 (54.7%)，成为开源权重模型在 HLE 上的新 SOTA；虽落后 Anthropic 集群 (64.5%) 约 8.5pp，但 K3 以 2.8T 参数 + ¥100/MTok 输出价格成为首个在 HLE 上突破 55% 的中国开源模型；无工具设置下 43.5% 仍落后 Opus 4.8 (49.8%)

  • 关键趋势：HLE 形成”三超多强”格局——Anthropic 集群 64.5%（Mythos 5/Fable 5/Sonnet 5）> Meta Muse Spark 1.1 62.1% > GLM-5.2 54.7%/K3 56%/Hy3 53.2%；K3 是唯一在 HLE 上同时超越 GPT-5.6 Sol 和 GLM-5.2 的开源模型；HLE 在 53-65% 区间仍有显著区分度，预计 2026 H2 成为最重要区分度基准

  • 2026-07-23：BenchLM HLE 排行榜更新至 71 模型——Claude Mythos 5 64.5%（with tools）仍居榜首；Kimi K3 56%（with tools）成为开源新 SOTA，超越 GLM-5.2（54.7%）；GPT-5.5 Pro 57.2%（with tools）进入 Top 8；HLE 50% 天花板叙事正式终结——14 个模型超过 50%

  • 关键趋势终局判断：HLE 已正式接替 GPQA Diamond 成为最重要的推理区分度基准——50% 门槛被突破后，“未饱和+显著区分度”的组合使其成为 2026 H2 学界和工业界最有价值的综合评测；Anthropic/Meta/GLM/Kimi 四强格局稳定，OpenAI 选择 Agents Last Exam 替代 HLE 引发”评测回避”争议

  • 2026-07-24：Claude Opus 5 发布，HLE 以 64.7%（with tools）平顶 Mythos Preview 的历史最高记录，无工具设置下 56.3%——Opus 5 以”一半 Fable 价格”（$5/$25）达到 HLE SOTA，且 xhigh 推理模式的自我验证机制在专家推理上展现范式级提升。Anthropic 首次在产品级模型中推出不弱于 Mythos 级的 HLE 性能，预示着”Mythos 级能力”正在走向主流

  • 2026-07-23：BenchLM 7月更新确认 14 个模型在 HLE 上超过 50%——包括 Anthropic 全系列 (Mythos/Fable/Opus/Sonnet)、Meta Muse Spark、OpenAI GPT-5.4/5.5 Pro、Moonshot Kimi K3、智谱 GLM-5.2/5.1，标志着”50% HLE 天花板”叙事在 2026 年 7 月正式成为历史

  • 2026-08-05：Meta Muse Spark 1.2 发布，Artificial Analysis 独立评测 HLE 44%（较 1.1 的 45% 反降 1pp，Scientific reasoning 维度基本持平），与其在 Agent/知识工作类基准（GDPval-AA v2 Elo 1371→1631 大幅跃升）形成鲜明反差——Meta 把训练重心押在长程 Agent 而非专家单题推理，HLE 上”原地踏步”

  • 2026-08-03：Qwen3.8-Max（阿里，2.4T MoE）HLE 仅 43.6%（vendor），远低于 Kimi K3 (56%) 与 GLM-5.2 (54.7%)，也未进入 Top 8（门槛 57.4%）——尽管在长程 Agent 基准上创 SOTA（PaperBench 93.0、OSWorld-Verified 86.1），专家级单题推理仍是其短板，“长程工作流”与”专家单题推理”的能力分裂在 Qwen 旗舰上同样成立

  • 关键趋势：2026 年 8 月发布的两个新旗舰（Qwen3.8-Max 43.6%、Muse Spark 1.2 44%）双双在 HLE 上止步于 44% 以下，HLE 的”64% 天花板”半年未破——Top 8 仍被 Anthropic 集群（64.5-64.7%）、Meta 1.1（62.1%）、GPT-5.4 Pro（58.7%）、Opus 4.8/4.7 与 Sonnet 5 垄断。这进一步印证 HLE 的独特价值：它测的是”专家级单题推理深度”，与当前厂商主攻的”长程 Agent 工作流”是两个正交维度

关联基准

  • GPQA：HLE 的”前辈”，但难度低一级
  • FrontierMath：数学维度的极难评测
  • MMMU：多模态维度的大学级评测
  • MMLU-Pro：已接近饱和的广度知识基准

不足与展望

  • 题目不公开（防污染），限制了社区的深入分析
  • “有工具”和”无工具”评测条件不统一，不同来源分数难以直接比较
  • HLE 作者明确警告：分数提升不应等同于更深层的自主理解
  • Kalshi 预测市场已开设”2026 年底前 HLE 最高分”合约，商业化压力可能影响评测公正性
  • 如果 Mythos 级别模型分数继续飙升，可能需要 HLE v2 或更难的替代
综合 极难 专家级 Nature 2026