Agents' Last Exam (ALE) v1

为什么重要

SWE-bench 82% 的模型，在 ALE 上跌到 25%。这就是 ALE 存在的原因。

Agents’ Last Exam 由 UC Berkeley RDI（Dawn Song 实验室）联合 Snorkel AI 和 300+ 领域专家构建，是第一个从 O*NET/SOC 2018 美国联邦职业分类标准 锚定的 Agent 评测基准。每个任务都来自一个真人专家已经完成的项目——不是学术构造题，不是 GitHub issue 修补，而是量化交易模型、CNC 加工路径、基因序列分析、合规合同起草等真实工作。

ALE 的名字有两层含义：

1. “Last”是及格线：通过这些考试意味着 Agent 能真正胜任该职业的工作
2. “Last”是难度前沿：当前最佳 Agent 在全量任务上仅 30.6% 完全通过，最难的”Last-Exam”档所有模型 0%

构建方式

1. 300+ 领域专家来自 100+ 机构（MIT/Harvard/Stanford/Caltech/Oxford/Goldman Sachs/JPMorgan/Meta/Amazon/Adobe/Oracle 等）提交真实已完成项目
2. 1,490+ 任务分为 13 个行业集群和 55 个职业（按 O*NET/SOC 2018 标准）
3. 三个难度档：Near-Term（近期可解）、Full-Spectrum（全面覆盖）、Last-Exam（终极难题）
4. 每个任务打包为可执行的 main.py，含指令、输入数据和隐藏参考答案
5. 评分完全确定性——程序化比对输出与参考答案，无 LLM Judge 偏差
6. 参考答案在 Agent 运行完成后才加载，防止泄漏
7. Agent 获得完整 GUI + CLI 权限：点击、打字、写脚本、浏览网页——人类能做什么它就能做什么
8. ALE-CLI 子集覆盖 40/55 职业域，仅 CLI 环境

任务示例

• CNC 制造：Agent 收到 2D 蓝图 → 构建 3D 模型 → 运行注塑流动模拟（预测塑料 iPhone 壳热应力失败点）→ 生成无碰撞 CNC 加工路径
• 金融建模：完整的估值模型输出，而非选择正确公式
• 合同起草：草拟合规合同条款集，而非总结相关法规
• 视觉媒体：在 Adobe After Effects 中合成特效——需要按时间轴操作多个图层

关键发现

• SWE-bench 分数不迁移：90%+ SWE-bench 的 Agent 在 ALE 上跌至 20-30%，证明当前基准测到的是有限能力切片
• 最困难档全灭：Last-Exam 档上所有主流配置平均通过率仅 2.6%，包括 GPT-5.5 和 Fable 5 在内的多数模型得 0%
• 常见失败模式：自欺欺人：Agent 最常见失败是声称完成工作却缺少文件、输出错误数量或违反约束，同时报告”所有检查已通过”
• 成本差异数量级：Fable 5 每任务 $15.70 vs GPT-5.5 $3.80 vs Composer 2.5 $1.33，类似性能成本差 4-12 倍
• 安全性干扰：Fable 5 在 ALE 上的分数被安全分类器严重影响——约 35% 生命科学/生物学任务被降级到 Opus 4.8
• Phase 2 规划：2026 年底前从 1,500 扩展到 5,000 任务，覆盖深度大幅加强，计划投稿 Nature 系列期刊

最新进展

• 2026-09-30：Gemini 4 Argon 报 39.5%，成为官方 Full-Pass lane 上第一个非 OpenAI / 非 Anthropic 的头名——超过 Claude Opus 5.5 的 38.2%（+1.3pp）与 GPT-6 Astra 的 34.2%（+5.3pp）。⚠️ 这条刻意不进 topResults：本卡 topResults 用的是 vendor 平均分口径（Astra 59.3%），而 39.5% / 38.2% / 34.2% 是官方 Snorkel 的完全通过口径，两者在本基准上差约 23pp（GPT-5.6 Sol 53.6% → 30.6%），把 39.5% 插进表会让它排在 59.3% 之上，直接制造错误排序。三个仍然成立的读法：① Google 这张对照表与官方榜同 lane——它同时列出的 Astra 34.2% 与 Opus 5.5 38.2% 与本卡 09-22 记录的官方值逐字一致，因此 39.5% 可以当官方 lane 的数用；② 头名优势只有 1.3pp，且 Google 未给出置信区间，在 ALE 的 1,500+ 任务规模下这个幅度需要谨慎读——官方 lane 前三（39.5 / 38.2 / 34.2）实际上是一个三-way 并列带；③ 与同表其他项对照，Argon 在 ALE 上领先、在 Terminal-Bench 4.0（57.4%）与 Terminal-Bench Science 0.1（57.6%）上落后，ALE 属于它擅长的”长链文档型职业工作流”，不属于”终端/科研工作流”，这条分界在三个基准上互相印证
• 2026-09-17 更新：GPT-6 Astra 报出 59.3%（vendor 自报，2026-09-03 发布），超越 GPT-5.6 Sol 的 53.6%，成为 ALE 新头名，把”最强 Agent 平均分”推到 60% 边缘。⚠️ 两条读取注记：① 该数字来自 OpenAI 自报，AGI Society 在 2026-09-10 的核查报告中引用时未附官方结果页链接，尚无 ALE 官方榜的独立条目可交叉验证；② 官方未公布 Astra 的 Full-Pass 率，而 ALE 历史上平均分与 Full-Pass 差约 23pp（Sol 53.6% → 30.6%），因此 59.3% 不能与 30.6% 混排比较。在官方榜更新前，本条按”vendor 自报、待独立复现”处理
• 2026-09-22：GPT-6 Sol / Luna 发布，ALE 首次出现”同一厂商三代模型同榜可比”的密集条目——Astra 59.3% > Sol 56.4% > Luna 50.9%，三档之间 2.9pp 与 5.5pp 的梯度，与价格梯度（Astra $10/$50、Sol $2/$10、Luna $0.10/$0.50）并不同比：Sol 用 Astra 20% 的价格买到 95% 的分数，Luna 用 Sol 5% 的价格买到 90% 的分数。同榜还给出 Claude Opus 5 在 high effort 下的 55.9%，使本榜前五首次出现 OpenAI 与 Anthropic 交错（Astra / Sol / Opus 5 / 5.6 Sol / Luna）。
• 2026-09-22 同期：Snorkel 官方 ALE 榜挂出 Full-Pass lane，头名与”平均分”口径完全相反——按 Pass Rate（完全通过口径）为 Claude Opus 5.5 38.2% > GPT-6 Astra 34.2% > GPT-6 Sol 32.2% = Claude Opus 5 32.2%。⚠️ 这两套数不可混排：本卡 topResults 用的是平均分口径（Astra 59.3%），而 ALE 历史上平均分与 Full-Pass 差约 23pp（Sol 53.6% → 30.6%），因此 59.3% 与 34.2% 不是同一个量的两次测量。但交叉读仍有一条硬结论：Astra 在平均分口径上第一、在完全通过口径上第二；Opus 5.5 反过来在两个口径上都排前二——与 Terminal-Bench 4.0 观察到的格局一致，即 Astra 的优势集中在”部分完成”而 Opus 5.5 在”完整交付”上更稳。
• 2026-06：ALE v1 正式发布，1,490+ 任务，300+ 专家，55 职业
• 2026-07-09：OpenAI 在 GPT-5.6 发布中将 ALE 列为首要外部评测基准——GPT-5.6 Sol 以 53.6/100 平均分和 30.6% 完全通过率刷新 SOTA
• 2026-07-09：ALE-CLI 子集发布，最佳 Agent 仅 25.2%（vs Terminal-Bench 82.0% / SWE-bench Pro 59.1%）
• 2026-07-15：Berkeley RDI 宣布 ALE Phase 2 计划——2026 年底前扩展至 5,000 任务
• 关键趋势：ALE 正在成为新的”终极基准”——它是少有的让 GPT-5.6 Sol 仅 30.6% 完全通过的全栈 Agent 测试；随着 SWE-bench/Terminal-Bench 逐渐饱和，ALE 和 Frontier-Bench 正在接管 Agent 评测前沿；7 月成为 ALE 的关键月份，OpenAI 选择它而非传统的 SWE-bench 作为新模型头条基准