返回评测
多模态 VLM-数学 未饱和 模态 · 图文 任务 · 选择 / 判断

MathVision

3,040 道带图像的高质量数学竞赛题,覆盖 12 个年级与 5 个知识领域,要求模型同时读懂图形与文字才能求解

多校联合(MathVision 团队) ·

考察能力

视觉数学推理 图形理解 竞赛数学 跨模态推理

构建信息

数据规模
3,040 题
构建方式
从数学竞赛题库收集带图题目,按年级与知识领域分层标注,每题配图且必须读图才能求解
评测方式
选择题精确匹配
核心指标
Accuracy

为什么重要

多数「多模态数学」基准的图其实可有可无——把图去掉,模型照样能靠题干文字猜对。MathVision 的筛选标准就是必须读图才能解:题干里的关键信息(几何关系、函数图像、图表数据)只出现在图中。

这个筛选让它成为真正测「视觉 + 推理」而不是「文字推理 + 装饰图」的少数基准之一。题目的难度也拉得够高——取自数学竞赛,覆盖小学到高中 12 个年级、5 个知识领域(代数、几何、组合、数论、统计)。

对数据侧的启示很具体:多模态数学训练数据的质量瓶颈在「图文强耦合」。爬来的图文对里,图和文往往是弱相关的;而像 MathVision 这样图和解题强绑定的样本极少。做数据时要主动筛「去图即不可解」的样本,否则训出来的模型会走文字捷径。

构建方式

  1. 从公开的数学竞赛题库中收集带图像的题目
  2. 人工筛选:去掉图像后题目不可解(避免图文弱耦合的噪声样本)
  3. 按年级(小学至高中)与知识领域(代数 / 几何 / 组合 / 数论 / 统计)分层标注
  4. 全部整理为多选题形式,便于自动评分
  5. 提供「仅文字」对照实验设置,用于量化图像信息带来的增益

任务示例

几何类:

如图,圆内接四边形 ABCD 中,∠A = 70°,∠C = ? (配一张圆内接四边形图)

函数图像类:

图中所示为函数 f(x) 的图像,f(x) 在区间 [-2, 1] 上的最小值是多少?

图表数据类:

根据柱状图,2019 到 2023 年间增长率最高的年份是哪一年?

共同点:把图盖住,题目就无解;模型必须从像素里提取结构(角度关系、曲线走势、柱高差异)再接入推理链。

最新进展

  • 发布时的基线显示:模型与人类之间存在明显鸿沟,且纯语言模型仅凭题干(无图)也能答对一部分,反证了筛选标准的重要性
  • 后续多模态模型在这类「强耦合」题目上的提升,主要来自视觉编码器与数学推理能力的联合训练,而非单纯的规模扩大
  • 它常与 MathVista 配合使用:MathVista 覆盖面广,MathVision 难度更高、图文耦合更紧

关键发现

  • 图文耦合度决定基准难度:去掉图还能答对的题占比越低,基准越能测出真实的多模态推理
  • 视觉编码器是瓶颈之一:同样的语言模型,换更强的视觉塔,在这类题上的提升明显
  • 年级分层提供难度梯度:可以定位模型在哪个知识阶段开始掉队
  • 数据启示:应主动构建/筛选「去图不可解」的样本,这类数据才是真正教会模型跨模态推理的部分
多模态 数学推理 视觉推理 竞赛题 跨模态