为什么重要
MMMU-Pro 针对 MMMMU 的两个弱点进行了升级：(1) 增加了”纯视觉”问题——文字信息嵌入图片中，迫使模型依赖 OCR 和视觉理解而非文本捷径；(2) 选项从 4 个扩展到 10 个，降低猜测概率。结果所有模型得分比 MMMMU 低 10-30%。
构建方式
从 MMMMU 筛选并增强：将文本选项转化为视觉呈现（如公式渲染为图片、图表内嵌入问题信息）。增加 6 个干扰选项。验证模型不能通过纯文本解题。
任务示例
- 学科：有机化学
- 图片：分子结构图 + 嵌入的反应条件
- 10 个选项（含 6 个高质量干扰项）
- 需要：OCR + 化学知识 + 视觉推理
关键发现
- GPT-4o 从 MMMMU 的 ~69% 下降到 MMMU-Pro 的 ~55%
- 纯文本版本（去掉图片只看文本）准确率暴跌，证明视觉依赖性增强
- CoT 在某些题目上反而降低准确率（“overthinking”）
最新进展
- 2026-10-19：Claude Opus 5.5（max）以 87.7% 接替头名，是本卡第一个非 OpenAI 系头名，也是 MMMU-Pro 首次越过 87%。 数据来自 Artificial Analysis 的独立实现（榜期 2026-10-19），本轮经 BenchLeader 镜像取得。三点读法：① lane 对齐的判据成立——本卡 2026-09 的两条（GPT-6.1 Sol 86.0%、GPT-6 Sol 83.3%）同为 AA 独立实现，与本轮数值来自同一条 lane，因此可直接进 topResults；② saturation 由「未饱和」改为「接近饱和」——AA 已把 MMMU-Pro 标为 Near-saturated，且本卡从 2024 年的 54.7% 到 2026-10 的 87.7%，两年涨 33pp，剩余空间约 12pp，与 2024 年论文「比 MMMU 低 10–30pp」的压力设计已基本被消化；③ ⚠️ 依然是镜像来源——与 09-29 那条一样，本轮未能直接读到 AA 原页图表，属于同一评测机构的连续快照但非一手读数
- ⚠️ 本卡仍未解决的空白：除 OpenAI 与 Anthropic 共四条外，Google 系（Gemini 4 Argon 未公布 MMMU-Pro）、Meta 系、开源系的 2026 年数据依然缺失；2024 年的 GPT-4o 54.7% 与 2026 年的 87.7% 并排，只代表两个时间切片，不构成连续曲线
- 2026-09-29：GPT-6.1 Sol 报 86.0%（Artificial Analysis Intelligence Index v4.3.2 独立实现，max effort，no tools），接替 GPT-6 Sol 成为本卡头名，也是 MMMU-Pro 首次越过 85%。三点读法：① 一周之内同厂商的中端产品线把旗舰挤下去 2.7pp——GPT-6.1 Sol 发布于 2026-09-29、定价 $2/$10，是 GPT-6 Astra 的五分之一；MMMU-Pro 上 OpenAI 没有公布 Astra 的同口径值，因此这条只能读作”Sol 6.1 高于 Sol 6”，不能读作”Sol 6.1 强于 Astra”；② 两年跨度从 54.7% 到 86.0%，涨 31.3pp，比 09-22 那次记录（83.3%，涨 28.6pp）又抬了 2.7pp，且本轮数值来自 AA v4.3.2 而非 v4.3，属同一评测机构的连续版本，可比性比 09-22 那批好；③ ⚠️ 依然是单一转述来源——本轮的 86.0% 与 09-22 的 83.3% / 75.5% 一样，取自 AA 分解表的二手转述，未能直接读到 AA 原页图表。两张卡内数值跨了一个 AA 小版本（v4.3 → v4.3.2），排序合规但不宜据此算增量
- 2026-09-30：Gemini 4 Argon 未公布 MMMU-Pro 成绩。其官方 19 项对照表覆盖了 Vibe Code Bench、LVBench、Chartography 等，但没有 MMMU-Pro 一行，因此本卡暂缺 Google 系与 Anthropic 系的 2026 年数据——除 OpenAI 三条外，卡内其余数值仍停留在 2024 年
- 2026-09-22：本卡首次补入 2026 年前沿模型数据，GPT-6 Sol（max）83.3%、GPT-6 Luna（max）75.5%（Artificial Analysis Intelligence Index v4.3 分解表）。两年时间把该基准从 54.7% 抬到 83.3%，接近 29 个百分点——MMMU-Pro 在 2024 年论文里”所有模型比 MMMU 低 10–30pp”的压力设计，到 2026 年已被消化掉大半
- ⚠️ 来源与口径注记：两个数值来自 Artificial Analysis 的独立实现分解表（2026-09-22，max effort），本轮经二手转述取得，未能直接读到 AA 原页图表；AA 原文文字确认了同批的 Terminal-Bench 4.0（Sol 44% / Luna 13%）与 AutomationBench-AA（Sol 62% / Luna 53%），与转述表四舍五入后吻合，可作间接佐证。MMMU-Pro 一项目前为单一转述来源
- ⚠️ 本卡其余数值停留在 2024 年：除上述两条外，卡内所有数据均为论文发表时的水平（GPT-4o 54.7%）。列表里 2024 与 2026 两代数字并排，不代表连续曲线，只代表两个时间切片；由于缺少 2025 年的中间观测，不能据此推断”年均提升多少”
关联基准
MMMMU（前身）、MMBench（多维评测）、ScienceQA（科学多模态）
不足与展望
数据仍以 STEM 为主，人文学科覆盖不足。10 选 1 的干扰选项质量需要更多验证。