为什么重要
多数「多模态数学」基准的图其实可有可无——把图去掉,模型照样能靠题干文字猜对。MathVision 的筛选标准就是必须读图才能解:题干里的关键信息(几何关系、函数图像、图表数据)只出现在图中。
这个筛选让它成为真正测「视觉 + 推理」而不是「文字推理 + 装饰图」的少数基准之一。题目的难度也拉得够高——取自数学竞赛,覆盖小学到高中 12 个年级、5 个知识领域(代数、几何、组合、数论、统计)。
对数据侧的启示很具体:多模态数学训练数据的质量瓶颈在「图文强耦合」。爬来的图文对里,图和文往往是弱相关的;而像 MathVision 这样图和解题强绑定的样本极少。做数据时要主动筛「去图即不可解」的样本,否则训出来的模型会走文字捷径。
构建方式
- 从公开的数学竞赛题库中收集带图像的题目
- 人工筛选:去掉图像后题目不可解(避免图文弱耦合的噪声样本)
- 按年级(小学至高中)与知识领域(代数 / 几何 / 组合 / 数论 / 统计)分层标注
- 全部整理为多选题形式,便于自动评分
- 提供「仅文字」对照实验设置,用于量化图像信息带来的增益
任务示例
几何类:
如图,圆内接四边形 ABCD 中,∠A = 70°,∠C = ? (配一张圆内接四边形图)
函数图像类:
图中所示为函数 f(x) 的图像,f(x) 在区间 [-2, 1] 上的最小值是多少?
图表数据类:
根据柱状图,2019 到 2023 年间增长率最高的年份是哪一年?
共同点:把图盖住,题目就无解;模型必须从像素里提取结构(角度关系、曲线走势、柱高差异)再接入推理链。
最新进展
- 发布时的基线显示:模型与人类之间存在明显鸿沟,且纯语言模型仅凭题干(无图)也能答对一部分,反证了筛选标准的重要性
- 后续多模态模型在这类「强耦合」题目上的提升,主要来自视觉编码器与数学推理能力的联合训练,而非单纯的规模扩大
- 它常与 MathVista 配合使用:MathVista 覆盖面广,MathVision 难度更高、图文耦合更紧
关键发现
- 图文耦合度决定基准难度:去掉图还能答对的题占比越低,基准越能测出真实的多模态推理
- 视觉编码器是瓶颈之一:同样的语言模型,换更强的视觉塔,在这类题上的提升明显
- 年级分层提供难度梯度:可以定位模型在哪个知识阶段开始掉队
- 数据启示:应主动构建/筛选「去图不可解」的样本,这类数据才是真正教会模型跨模态推理的部分