返回评测
推理 数学-基础 接近饱和 模态 · 文本 任务 · 数学求解

MathQA

37K 数学文字题,覆盖算术、代数、几何等多个数学分支

University of Massachusetts ·

考察能力

数学推理 多步计算 公式应用

构建信息

数据规模
37,297 questions
评测方式
标准评测
核心指标
Accuracy

模型效果排行

🥇 GPT-4o
88.5%
🥈 Claude 3.5 Sonnet
86.3%

为什么重要

MathQA 是从 AQuA-RAT 清洗和增强而来的大规模数学推理基准。每道题都标注了形式化的操作程序(Operation Program),支持可执行验证。37K 的规模使其成为数学推理研究的重要训练和评测资源。

构建方式

从 AQuA-RAT 出发,修正标注错误,将自由文本 rationale 转化为结构化操作程序。覆盖算术、代数、几何、概率、数论等分支。

任务示例

  • 问题:“A store offers a 20% discount on a $50 item, then adds 8% tax. What is the final price?”
  • 操作程序:multiply(50, 0.8) → 40; multiply(40, 1.08) → 43.2

关键发现

  • 形式化操作程序比自由文本 rationale 更适合训练和评测
  • 几何题的准确率显著低于算术题
  • 模型在多步计算中的错误会累积

关联基准

AQuA-RAT(前身)、GSM8K(小学数学)、MATH(竞赛数学)

不足与展望

五选一格式有猜测偏差。部分题目仍有标注错误。

数学 文字题 多步推理 大规模