MATH-500

为什么重要

MATH-500 是 OpenAI 在 o1/o3 论文中使用的标准数学评测集，从 MATH 基准 5,000 道题中精选 500 道。它已成为报告数学推理能力的事实标准子集。

构建方式

1. 从 MATH 基准的 7 个学科（代数、几何、数论、计数、概率、中间代数、预微积分）中采样
2. 按难度均衡采样（Level 1-5）
3. 保持原始答案格式

任务示例

题目（Level 4）：“Find the number of integers $n$ such that $1 + \\lfloor 100n/101 \\rfloor = \\lceil 99n/100 \\rceil$.” 答案：10100

关键发现

• o3 等推理模型在此基准上逼近上限
• 但 Level 5 题目仍有区分度
• 成为衡量推理链质量的标准测试

关联基准

• MATH：完整版
• GSM8K：小学数学
• AIME 2024/2025：竞赛数学
• Omni-MATH：超难数学

不足与展望

• 推理模型已接近饱和
• 可能存在数据污染
• 但作为标准报告集仍有价值