为什么重要
MMLU 是 LLM 评测的”基本盘”——覆盖人文、社科、STEM、专业领域共 57 个学科，从高中到研究生难度。它定义了”模型有多博学”的标准度量，几乎所有 LLM 论文都会报告 MMLU 分数。尽管面临数据污染和饱和问题，其历史地位不可动摇。
构建方式
从在线教育和考试资源中收集四选一选择题，按学科和难度分层。57 个学科涵盖数学、物理、化学、生物、历史、法律、医学、计算机等。
任务示例
- 学科：Abstract Algebra
- 问题：“Find the order of the cyclic group generated by 2 in Z_12.”
- 选项：A. 3 B. 4 C. 6 D. 12 → 答案：C
最新进展（2026-10-17 更新）
本卡此前停在 GPT-4o 的 88.7%（2024），是库中停摆最久的高重要度卡片之一。2026-10-16 的聚合快照把头名推到 GPT-5 的 92.5%，随后是 o1 91.8%、o1-preview 90.8%、GPT-4.5 90.8%、Sarvam-105B 90.6%、Qwen3 VL 235B A22B Thinking 90.6%、Claude 3.5 Sonnet 90.4%、Kimi K2 0905 90.2%。
选取这套值的理由是 lane 可验证：该快照同时给出 GPT-4o 的 88.7%，与本卡旧值逐字吻合，说明两代数字来自同一条曲线。
⚠️ 两个快照覆盖的世代完全不重叠
另一个 2026-10 的榜单给出的是另一批模型：Claude Opus 5 92.4、Claude Fable 5 92.0、GPT-5.6 Sol 91.2、Gemini 3.1 Pro 90.8、GPT-5.5 Pro 90.4、GPT-5.5 89.7、Kimi K3 89.5、DeepSeek V4 Pro 89.4、Grok 4.5 89.2、GLM-5.2 88.9、Claude Sonnet 5 88.9。
两个快照里出现的模型几乎是一个都不重合，且该来源在 MMLU-Pro 一列上系统性地比 Vals AI 与 Stanford AI Index 2026 低约 5pp（它给 Gemini 3.1 Pro 的 MMLU-Pro 是 83.9，而 Vals AI 是 90.99、Stanford 是 91.16）。因此本卡只把它记为第二条 lane 并保留在正文，两值并存不判真值。
无论采信哪一个，结论一致：MMLU 的头名已经一年多没有越过 92.5%。
为什么判定为「已饱和」
- 头名停滞：2024 年 GPT-4o 88.7% → 2026 年 92.5%，两年只前进 3.8pp，且 2025 下半年之后基本没有位移。
- 厂商停止报告：2026 年的 Claude Opus 5.5 / GPT-6 / Gemini 4 这一代，公开材料里几乎不再出现 MMLU，一律改报 MMLU-Pro。Vals AI 已把 MMLU-Pro 标为 Archived Benchmark（“top five models all sit above 90%，没有继续爬坡的空间”）。
- 间距塌缩：Stanford AI Index 2026 给出 MMLU-Pro 前 15 名全部在 87% 以上，头名与第 15 名只差 4pp。原始 MMLU 比 MMLU-Pro 更容易，间距只会更小。
MMLU → MMLU-Pro 的落差本身就是诊断
Stanford AI Index 2026 明确量化了这一点：同一模型在 MMLU-Pro 上通常比 MMLU 低 16–33pp，10 选项让猜测失效。它举的例子很有说服力——GPT-4o 与 GPT-4-Turbo 在 MMLU 上只差 1pp，到了 MMLU-Pro 上差距拉开到 9pp。当两个基准对同一对模型给出 1pp 与 9pp 两种答案时，给 1pp 的那个已经失去了分辨力。
关键发现
- GPT-3 时代准确率 ~43%，GPT-4 跃升到 ~86%，定义了”大模型时代”的到来
- 人文学科通常得分最高，高阶 STEM 最难
- 数据污染问题促使 MMLU-Pro、MMLU-Redux、MMLU-CF 等变体出现
- MMLU-Pro 的弱点是解释性学科：Vals AI 的归档页指出，即便榜首在数学与生物上能过 95%，在法律、历史、健康这类需要判断的学科上仍只有 87% 左右。饱和的是「知识检索」，没饱和的是「专业判断」。
关联基准
MMLU-Pro（更难，2026 年事实标准）、MMLU-Redux（修复）、C-Eval（中文版）、GPQA（研究生级）
不足与展望
四选一有 25% 基线。部分学科的题目质量参差不齐。数据污染已成为系统性问题。2026 年起还应加上一条：前沿厂商已不再公布本基准的新分数，任何”最新 MMLU 榜”读到的都是聚合站的历史快照，引用时必须带抓取日期。