MMLU-Pro

为什么重要

MMLU-Pro 是 MMLU 的重大升级——各家模型技术报告（GPT-5、Claude 4、Gemini 2.5、DeepSeek R1、Qwen 2.5）全部在报。被 HuggingFace Open LLM Leaderboard v2 采用为 6 个核心基准之一。

构建方式

1. 从 MMLU 中筛选出高质量题目（移除噪声和歧义）
2. 由学科专家新增更有挑战性的题目
3. 将选项从 4 个扩展到 10 个——随机猜对概率从 25% 降到 10%
4. 14 个学科，12,032 道题

任务示例

示例 1（物理）：

“一个电子在匀强磁场中做圆周运动…”（10 个选项，需要精确计算）

示例 2（法律）：

“甲在合同到期前单方终止…”（10 个选项，需要判例法推理）

关键发现

• CoT 提升 20%+：在 MMLU 上 CoT 几乎无提升，但在 MMLU-Pro 上提升巨大——说明 Pro 真正考察推理
• 区分度远好于 MMLU：MMLU 上模型差距 <5%，MMLU-Pro 上差距 >20%
• 被认为是目前”知识+推理”综合评测的最佳基准
• Google Gemini 3 系列领跑：Gemini 3.1 Pro (91.0%) 和 Gemini 3 Pro (89.8%) 占据前二
• MiniMax M2.1 亮眼：作为非一线厂商模型进入 Top 7 (88.0%)，显示知识评测的竞争格局正在扩大

最新进展

• 2026-09-14 补录：Claude Fable 5.1 以 92.4%（Vals AI 独立跑、BenchLM 汇总）成为新的榜首，把 Opus 5 的 91.6% 抬高 0.8pp，也是本榜首次有模型突破 92%。同期 Gemini 3.8 Flash 以 90.2% 入场——注意这是 Flash 档模型（$0.75/$3.75 每百万），却排在 Gemini 3 Pro（90.1%）之前。前八名现在挤在 90.1%–92.4% 的 2.3pp 区间里，且全部来自三个厂商。对区分度的判断维持不变：MMLU-Pro 已经无法分离前沿模型，只还能分离”前沿 vs 非前沿”
• 2026-08-31：Claude Opus 5 以 91.6% 重夺榜首，Claude Fable 5 以 91.5% 紧随，结束了 Gemini 3.1 Pro（91.0%）自 5 月以来的领先。Top 3 差距收窄到 0.6 个百分点，前八名全部挤在 89.6%–91.6% 的 2 个百分点区间内——MMLU-Pro 的区分度已接近评测噪声
• 2026-08-31：聚合源之间存在系统性口径差异，引用时需注明来源。Artificial Analysis 8 月 22 日快照的榜首是 Gemini 3 Pro Preview 89.8%（196 个模型，均值 74.6），而 8 月 26 日另一聚合快照给出 Claude Opus 5 91.6%。两者对新模型的覆盖与评测协议不一致，本文件采用模型覆盖更全的后者，但差异本身说明跨源比分的不可靠性
• 2026-08-31：小模型与非一线厂商持续逼近前沿。Gemini 3.7 Flash（90.1%）与 Gemini 3.5 Flash（89.5%）以远低于旗舰的定价进入 Top 10；Sakana Namazu 以 90.3% 位列第四；开源权重方面 Qwen3.8 Max 88.6%、DeepSeek-V4-Pro-Max 87.5%、Kimi K3 88.0% 均已超过一年前的闭源旗舰
• 2026-08-31：MMLU 与 MMLU-Pro 的差值正成为比绝对值更有信息的指标。同一批模型上，Claude Opus 5 在 MMLU 92.4 / MMLU-Pro 86.2，Claude Fable 5 在 92.0 / 86.6，而 GPT-4.1 从 87.8 掉到 78.2——从 4 选项到 10 选项、从记忆到推理的落差，量化了模型”记住了多少”与”能推多少”
• 2026-05：vals.ai 独立验证排行榜更新，Gemini 3.1 Pro Preview 以 90.99% 领先（5-shot CoT 标准评测）
• 2026-05：Gemini 3 Pro 90.10%、Claude Opus 4.7 89.87%，Top 3 差距仅 1.1%，基准正式进入饱和阶段
• 2026-05：GPT-5.5 在 vals.ai 上仅 88.14%，低于 Google 和 Anthropic 前沿模型
• 2026-05：Kimi K2.6 以 87.57% 进入 Top 8，开源模型持续追赶
• 关键趋势：MMLU-Pro 顶级模型成绩已接近天花板，区分度下降，需转向更难评测