为什么重要
当 AIME 被 o3 做到 96.7%、MATH 被做到 97% 时，FrontierMath 证明了”数学推理的天花板还远着”。这些题目来自真正的数学研究前沿——组合、数论、代数几何等——即使是人类专家也需要数小时甚至数天才能解答。
构建方式
- 由 60+ 位数学家设计，覆盖数论、代数几何、组合数学等领域
- 每道题的答案是可程序验证的（整数、有理数、多项式等）——避免了主观评判
- 非公开题目：为防止数据污染，题目不公开发布
- 题目横跨本科到前沿研究水平
任务示例（公开的示例题）
示例 1（数论）：
“设 p 是满足某个特定丢番图方程的最小素数…”（需要数论深度推理）
示例 2（代数几何）：
“计算某个代数簇的欧拉特征数…”（需要研究级代数几何知识）
具体题目不公开，但 Epoch AI 描述：“数学家通常需要数小时到数天才能解决，有些题目出自尚未发表的研究成果。“
关键发现
- o3 是唯一超过 2% 的模型，达到 ~25%——说明 scaling test-time compute 对困难推理有效
- 其他所有模型（包括 GPT-4o、Claude 3.5）都低于 2%
- 2026-09 更新：这道”本该撑几年”的高墙，从 2025-07 Tier 4 发布时的约 5% 到 97.6%，只用了约 14 个月
Tier 4 的坍塌曲线
| 时间 | 事件 | Tier 4 最高分 |
|---|---|---|
| 2024-11-07 | FrontierMath 发布，含 Tier 1–3（300 题） | — |
| 2025-07-11 | Tier 4 加入，最初 50 题，覆盖分析/数论/组合/拓扑/代数几何 | ~5% |
| 2025-07 | 全部模型历次测试合计只解出 3 题，且依赖未被充分论证的假设 | ~5% |
| 2026-06 | v2 独立审计：先用 GPT-5.5 与 Claude Opus 4.7 筛查疑点，再由数学家逐题复核；Tier 4 修正 12 题、移除 7 题，留 43 题 | — |
| 2026-07 | GPT-5.6 Sol | 83.0% |
| 2026-08 | Claude Fable 5 | 90.2% |
| 2026-09-03 | GPT-6 Astra 97.6%，并补上此前唯一一道从未被 AI 解出的题 | 97.6% |
| 2026-10-03 | GPT-6.1 Sol 100.0%（Max, With Tools），43 题全解 | 100.0% |
Epoch AI 据此按”累计规则”宣布 Tier 4 饱和——每一道 Tier 4 题目都至少被某个模型在某次尝试中解出过一次。Marquette University 的 Jay Pantone 评价，Astra 的解法与他本人的解法高度接近，而不是走了数值捷径。
官方曾在公开样题页写过”其中一些题，可能几十年都不会被 AI 解决”。这句话的保质期不到 14 个月。
最新进展
- 2026-09-11：Epoch AI 更新其 AI Benchmarks & Capabilities 页面，GPT-6 Astra 以 167 分位居 Epoch Capabilities Index 首位；页面覆盖 80 个基准。
- 2026-09-12：多家报道确认 Tier 4 饱和。Epoch 的定性是 “Astra saturates FrontierMath Tier 4 with a 98% score, having already helped solve long-standing open problems in mathematics”（OpenAI 源表述，97.6% / 约 98% 为同一结果的不同取整）。
- 饱和不等于”数学被解决”：项目本身已往下一阶段走——在 Tiers 1–4 之外新增了两个方向：
- Open Problems：直接拿尚未被数学界解决的 50 道研究问题考模型（Epoch 公布时 AI 只解出 3 道）
- FrontierMath Erdős：把 Erdős 开放问题形式化进 Lean，要求 AI 写出能通过形式化验证的完整证明
- Erdős 上的真实差距：GPT-6 Astra 在 68 道 Erdős 问题中只解决 2 道。Tier 4 的 97.6% 与 Erdős 的 2/68 并列看，才是 2026-09 数学能力的完整画像——能解”可自动验证的难题”，不等于能产出”经得起形式化检验的新证明”。
2026-10-10 更新：Tier 4 v2 出现首个满分，但它没有误差棒
Epoch AI 的 FrontierMath Tier 4 v2 榜在 2026-10-03 刷新后，头名变成了 GPT-6.1 Sol 的 100.0%（Max, With Tools），43 题全解，是这张 70 模型榜上唯一的满分行。第二仍是 GPT-6 Astra 的 97.6%，第三是 Claude Opus 5.5 的 95.0%（均标注 Epoch 独立跑、Max、带工具）。
这个 100% 需要三条并列的限定，缺一条就会读错：
- 它是全榜唯一不打印置信区间的一行。 Epoch 在其余每一行都给了 ±2.4 到 ±6.7 的区间（Astra ±2.4、Opus 5.5 ±4.1、Fable 5 ±4.6、GPT-6 Sol ±5.2、Google DeepMind AI co-mathematician ±6.7）。满分行没有区间，榜上也没说明是”无法计算”还是”未发布”。
- Astra 的区间上界恰好也是 100.0%。 97.6% ± 2.4 的顶端就是满分，而把两者分开的正是这 2.4 分。在这张榜上，“Sol 比 Astra 更会做数学”这个命题无法被确立——只能说它这次采样的均值更高。
- 同一套 harness 下，Sol 在更容易的 Tiers 1-3 v2 上只有 93.7%，与 Astra 打平，低于它在 Tier 4 的 100%。 一个在简单分层上更低、在 hardest 分层上满分的结果，更像采样波动，而不是能力跃迁。
对照着看，Tiers 1-3 v2 的头部是 Sol 93.7% / Astra 93.7% / Opus 5.5 91.2%，开源加权重的 Kimi K3 约 72%；Tier 4 v2 的最佳开源权重条目只有 Qwen3.8-Max 的 46.3%（并列第 19）。闭源前沿与开源权重之间还有一条 50pp 量级的沟。
另外，本轮把 topResults 里两条 2025 年初版题库口径的历史行（o3 ~25%、其他模型 <2%）移出了榜单——它们与 Tier 4 v2 不同量，留着会让”榜单降序”看起来像一条连续曲线。原文数值已记在此处备查。
读法
- 引用 100.0% 时带上”无误差棒 + Astra 上界同为 100%“，不要写成”首个在 Tier 4 上做到完美的模型”这类结论句。
- “Tier 4 已饱和”这个判断在 2026-09 就已成立（累计规则：每题至少被某模型解出过一次），100% 只是把”累计”换成了”单次运行”。
- 真正的未饱和部分仍在 Tier 4 之外：Open Problems（50 道未解，AI 解出 3 道）与 Erdős（68 道 Lean 形式化，Astra 只解 2 道）。
局限性与展望
- “已饱和”只针对 Tier 4（v2，43 题）。Tier 1–3 与两个新方向（Open Problems / Erdős）远未饱和，本卡的 saturation 字段按最前沿分层标注。
- 题库错误率高于预期：OpenAI 在测试中发现 FrontierMath 的错误比预想更多，才触发了 2026-06 的 v2 审计。这说明即便是”专家出题”，在没有形式化验证前也难以保证正确。
- 累计饱和规则偏宽松：只要任意模型在任意一次尝试中解出即计入，与”单次运行稳定解出”不是一回事。引用 97.6% 时应带上这个口径。
- 非公开题库的副作用：题目不公开虽然防污染，但也让独立复核无法进行——v2 审计本身正是对这一点的补救。