为什么重要
MMMU 是多模态模型评测的”MMLU”——覆盖艺术、商科、理工、医学、人文等 6 大领域 30+ 学科。题目需要同时理解图像（图表、电路图、分子结构、艺术作品等）和文本。
构建方式
- 从大学教材和考试中收集跨学科多模态题目
- 每道题包含 1-7 张图像 + 文字描述 + 4 个选项
- 覆盖 30+ 学科：从艺术史到电路设计，从分子生物到会计学
- MMMU-Pro：扩展到 10 选项 + 增加视觉感知子任务
任务示例
示例 1（电路设计）：
[图片：一个运放电路] “计算该电路的增益…” 需要识别电路元件 + 计算传递函数
示例 2（艺术史）：
[图片：一幅画] “这幅作品属于哪个艺术流派？” 需要视觉风格识别 + 艺术史知识
示例 3（医学）：
[图片：X光片] “该患者最可能的诊断是什么？” 需要医学影像解读能力
关键发现
- 多模态模型在 STEM 类图像（电路、分子、图表）上比在自然图像上弱
- MMMU-Pro 将选项扩到 10 个后，区分度从 ~80% 回落到 ~60%