为什么重要
MathQA 是从 AQuA-RAT 清洗和增强而来的大规模数学推理基准。每道题都标注了形式化的操作程序(Operation Program),支持可执行验证。37K 的规模使其成为数学推理研究的重要训练和评测资源。
构建方式
从 AQuA-RAT 出发,修正标注错误,将自由文本 rationale 转化为结构化操作程序。覆盖算术、代数、几何、概率、数论等分支。
任务示例
- 问题:“A store offers a 20% discount on a $50 item, then adds 8% tax. What is the final price?”
- 操作程序:multiply(50, 0.8) → 40; multiply(40, 1.08) → 43.2
关键发现
- 形式化操作程序比自由文本 rationale 更适合训练和评测
- 几何题的准确率显著低于算术题
- 模型在多步计算中的错误会累积
关联基准
AQuA-RAT(前身)、GSM8K(小学数学)、MATH(竞赛数学)
不足与展望
五选一格式有猜测偏差。部分题目仍有标注错误。