ARC-AGI-2

为什么重要

ARC-AGI-2 是 ARC-AGI 的升级版，曾是当前最难的 AI 推理基准之一。它测试纯粹的”流体智力”——在不依赖记忆知识的情况下发现和应用新模式。该基准在 14 个月内从 ~2% 飙升到 97.9%（Confluence Lab, 2026-04），已被视为”接近饱和”。ARC-AGI-3（2026-03 发布）接替其位置，所有前沿模型得分再度回归 <5%。

构建方式

手工设计视觉网格变换任务
每个任务有 2-3 个示例对（输入→输出）
需要从示例中归纳规则并应用到新输入
v2 引入更复杂的组合规则

任务示例

给定几个颜色网格的输入-输出对，推断变换规则（如旋转、填充、对称、条件替换等），然后将规则应用到测试输入。

2026-10-10 更新：GPT-6.1 Sol 用 1/4 的单题成本贴上 Astra

ARC Prize 在 2026-09-30 公布了 GPT-6.1 Sol 的验证结果：ARC-AGI-2 半私有集 94.2%（max effort，$0.25/题），是本榜第四款也是目前最后一款越过 90% 的成本受限条目。同批公布的还有 ARC-AGI-1 的 98.5%（xhigh，$0.06/题）与 ARC-AGI-3 的 52.7%（Standard harness，$7.6K）/ 96.4%（Provider Adapter，$4.4K）。

值得记的是性价比而不是名次：Astra 的 95.0% 花 $1.12/题，Sol 的 94.2% 花 $0.25/题——0.8pp 的分数差对应约 4.5 倍的成本差。ARC Prize 自己的表述是 Sol 的成绩”与 Astra 的 95.0% 相当，成本低 77%“（按 $1.12→$0.25 算是 78%，差异来自取整口径）。

Sol 在 ARC-AGI-2 上的推理档位阶梯也是一张有用的图：

档位	ARC-AGI-2
Max	94.2%
XHigh	91.7%
High	91.7%
Medium	86.7%
Low	76.7%

从 Low 到 Max 有 17.5pp 的跨度，但 XHigh 与 High 完全打平——在 ARC-AGI-2 上多付的推理预算在 xhigh 这一段是没有回报的。这与 ARC-AGI-3 上的观察同型：ARC Prize 提到 Sol 在高档位下”更快想明白怎么绕开障碍”，从而用更少的动作完成关卡（463 步 vs 1078 步），推理档位买的是动作效率，不是每档都买得到正确率。

被本轮挤出前八的是 Gemini 3.1 Pro Deep Think（77.1%），它停留在 2026-02 的旧值，属于榜单拥挤导致的名次下移，不是能力下降。

最新进展

2026-09-03：GPT-6 Astra 以 95.0% 登顶 ARC Prize 验证榜（max effort，$1.12/task），是首个在成本受限口径下突破 95% 的模型；同一天 Claude Fable 5.1 报 90.0%（max effort $4.49/task，xhigh $3.12 也能到 90.0%）。Astra 的单题成本只有 Fable 5.1 的四分之一，性价比差距比分数差距更大
2026-09：ARC-AGI-2 的”85% 即算解决”门槛已被五款模型越过（Astra 95.0 / Sol 92.5 / Opus 5 90.4 / Fable 5.1 90.0 / Fable 5 89.2），但严格私有集与 Kaggle 开放赛道仍显著更低——成本受限口径的饱和不代表任务本身被解决
2026-07-24：Claude Opus 5 在 ARC-AGI-2 达 90.4%（ARC Prize Foundation 半私有评测集、max effort 下独立验证为 90.42%），跻身 Top 3，仅次于 Confluence Lab 非受限栈 (97.9%) 与 GPT-5.6 Sol (92.5%)；Anthropic 以”性价比”定位逼近受限推理 SOTA
2026-04：GPT-5.5 以 85.0% 首次触及 ARC-AGI-2 大奖赛门槛（$700K 奖金），是首个公开报告达到 85% 的模型，运行成本约 $1.87/puzzle（远低于早期 o3 的 $15-77）
2026-04：GPT-5.4 Pro 以 83.3% 紧随其后，OpenAI 占据 Top 2；Gemini 3.1 Pro 77.1%、Claude Opus 4.7 (Adaptive) 75.8% 组成第二梯队
2026-04：BenchLM 排行榜扩展至 11 个模型，Top 4 包含 4 个 reasoning 配置（GPT-5.5/5.4 Pro/Opus 4.7/5.4），Gemini 3.1 Pro 是唯一非 reasoning 但进入 Top 3 的模型
2026-04：Confluence Lab research stack（unconstrained）以 97.9% 大幅领先，但属于非受限（unconstrained）提交，不在大奖赛正式评分范围
2026-05：presenc.ai Frontier Tracker 确认 GPT-5.5 (85.0%) 锁定大奖赛门槛，Claude Opus 4.7 在官方报告中提升至 81.4%（vs BenchLM 75.8%，口径差异）
2026-03-25：ARC-AGI-3 发布，引入交互式评测范式，填补前两代快速饱和留下的空白——所有前沿模型在 ARC-AGI-3 上得分 <5%
关键发现：ARC-AGI-2 在 14 个月内从 ~2% 提升至 85%，提升速度极快，背后存在结构性问题：模型可能从训练数据中学到了任务本身
2026-06：DeepSeek V4 Reasoning 在 ARC-AGI-2 上达 68.5%（presenc.ai 报告），Qwen 3.5 Max Thinking 61.2%，开源模型与闭源顶级模型差距缩小到 15pp 以内
2026-06：ARC Prize Foundation 公布两个里程碑截止日期（6月30日和9月30日），大奖赛决赛即将到来，关注是否有提交以 <$1/puzzle 的成本实现 85%+
关键趋势：ARC-AGI-2 已被 GPT-5.5 突破大奖赛门槛，基准有效性受到挑战；ARC-AGI-3 进一步通过”无规则交互世界”将所有模型打回 <5%，AGI 试金石转向第三代交互式设计
2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——Sol 在 ARC-AGI-2 达 92.5%（max reasoning），Terra 83.9%，Luna 未单独报告 ARC-AGI-2 数据；Sol 的 92.5% 仅次于 Confluence Lab research stack (97.9%)，是标准化推理模型中的新 SOTA，较 GPT-5.5 (85.0%) 提升 7.5pp——推理预算扩展带来显著增益
2026-07-01：Claude Fable 5 全球恢复访问，ARC-AGI-2 达 83.0%，与 GPT-5.4 Pro (83.3%) 几乎平齐，表明 Anthropic 旗舰在抽象推理上与 GPT 系列差距缩小到 0.3pp
关键趋势：ARC-AGI-2 Top 3 差距仍大（Confluence 97.9% / Sol 92.5% / GPT-5.5 85.0%），GPT-5.6 Sol 大幅缩短了”受限”与”非受限”之间的差距（从 12.9pp→5.4pp）；但 ARC-AGI-2 本质上仍是视觉网格变换，模型饱和不意味通用推理能力达到人类水平——ARC-AGI-3 将所有模型打回 <5% 是最有力的反证

关键发现

ARC-AGI-1 已基本宣告解决（Gemini 3.1 Pro 达到 98%）
ARC-AGI-2 在一年内从 ~2% 提升至 84.6%，饱和速度极快
两代基准快速饱和背后存在结构性问题：模型可能从训练数据中学到了任务本身
推动第三代交互式设计的诞生——ARC-AGI-3

关联基准

ARC-AGI：第一版
FrontierMath：前沿数学推理
Putnam-AXIOM：数学证明

不足与展望

评测集较小（100 题），结果方差大
视觉网格范式不代表所有抽象推理
但作为 AGI 进展的试金石，价值持久

考察能力

构建信息

资源链接

模型效果排行