为什么重要
ChartQA 是图表理解的标准基准——模型需要从柱状图/折线图中读取数据、比较趋势、做简单计算。是各家多模态模型必报的评测之一。
构建方式
- 从真实来源收集 9600 个图表-问题-答案三元组
- 分两个子集：augmented（模板自动生成问题）和 human（人工提问）
- 图表类型：柱状图、折线图、饼图、散点图等
- 评分允许 5% 的数值容差（Relaxed Accuracy）
任务示例
简单：[柱状图] “2023年哪个月销量最高？” 计算：[折线图] “2022年和2023年的增长率差异是多少百分点？” 推理：[多系列图] “蓝色线和红色线首次交叉是在哪个时间点？“
关键发现
- Gemini 2.5 Pro ~88%，接近饱和
- human 子集比 augmented 子集难 15-20%
- 模型在”读数”上准确但在”比较/计算”上出错
关联基准
不足与展望
- 图表质量较高，没测低分辨率/模糊图表
- 主要是英文图表
- 接近饱和——需要更难的图表推理评测