为什么重要
AQuA-RAT 是最早的大规模代数推理数据集之一，每道题除了正确答案还附带人工编写的解题理由（rationale）。这使其成为研究 Chain-of-Thought 推理的天然数据源，也是 GSM8K 之前数学推理的标配基准。
构建方式
从 GMAT/GRE 等考试中收集代数文字题，众包标注解题步骤。五选一选择题格式，每题附带自然语言 rationale。
任务示例
- 问题：“A train travels 360 km in 3 hours. If it increases speed by 20 km/h, how long will the same journey take?”
- Rationale: “Original speed = 360/3 = 120 km/h. New speed = 140 km/h. Time = 360/140 ≈ 2.57 hours”
- 答案：≈ 2 小时 34 分钟
关键发现
- 带 rationale 的训练数据能显著提升模型推理能力
- CoT 提示在该基准上带来 10-20% 的提升
- 选择题格式存在猜测偏差
关联基准
GSM8K（小学数学）、MATH（竞赛数学）、MathQA（大规模数学 QA）
不足与展望
选择题格式限制了评测深度。Rationale 质量参差不齐，部分解题步骤不够严谨。