返回评测
多模态 VLM-推理 未饱和 模态 · 图文 任务 · 选择 / 判断

CharXiv

2,323 张来自 arXiv 论文的真实科学图表 + 问答,测试模型理解学术图表的能力

Princeton & Apple ·

考察能力

科学图表 论文图表 数据可视化 学术理解

构建信息

数据规模
2,323 charts / 10,000 QA pairs
评测方式
标准评测
核心指标
Accuracy (%)

模型效果排行

🥇 Gemini 2.5 Pro
71.2%
🥈 GPT-5 Vision
66.8%
🥉 GPT-4V
47.1%

为什么重要

CharXiv 专门评测模型理解 arXiv 论文图表的能力——从散点图到混淆矩阵到训练曲线,是科研场景多模态理解的关键能力。

构建方式与示例

从 arXiv 论文中收集图表 + 问题。例如:[训练损失曲线] “模型在第几个 epoch 开始过拟合?“

关联基准与展望

关联:ChartQA、MathVista。不足:只覆盖 arXiv 风格图表。

多模态 图表 科学 arXiv