为什么重要
ARC-AGI-3 是 ARC-AGI 系列的第三代，也是首个完全交互式的 AGI 评测基准。相比前两代的”静态规则归纳”（给输入-输出示例，直接输出结果），ARC-AGI-3 要求模型以 Agent 的形式在动态环境中循环执行：观察→行动→观察→继续，直到任务完成。
核心主张：只要 AI 与人类之间存在学习效率的差距，AGI 就尚未达成。 ARC-AGI-3 通过测量这种效率差距来量化 AGI 进展。
2026 年 Kaggle 大奖赛总奖金超过 200 万美元，其中 ARC-AGI-3 赛道占 85 万美元，大奖 70 万美元授予首个达到 100% 的团队。
构建方式
从静态到交互的范式跃迁
ARC-AGI-1/2（已饱和）：
- 一次性给输入-输出示例
- 模型直接输出结果
- 涉及颜色替换、几何变换、对象计数等
- Gemini 3.1 Pro 在 ARC-AGI-1 达到 98%，在 ARC-AGI-2 达到 84.6%
ARC-AGI-3（交互式）：
- 模型作为 Agent，以循环方式与环境交互
- 每回合：观察当前环境状态 → 输出离散动作（移动、选择、操作）→ 接收环境反馈
- 无任何指令、描述或明确胜利条件
- 模型需同时推断”环境内在规则”和”隐式任务目标”
环境设计
- 135 个独立环境，每个 8-10 个难度递增的关卡
- 所有环境被无先验知识的人类玩家顺利通过
- 规则覆盖：状态机、路径规划、资源管理、组合逻辑等
- 回合制设计，模型需基于历史轨迹持续更新推理
人类数据采集
- 1200+ 人类玩家，3900+ 场游戏数据
- 每个环境至少 10 名参与者受控测试
- 采用第二好的人类玩家行动数作为正式基线（排除噪声）
RHAE 指标
Relative Human Action Efficiency（相对人类行动效率）：
- 在每个环境内归一化，比较 AI 完成关卡所用行动数与人类基线的比率
- 单关卡得分上限为人类基线的 1.0 倍
- AI 每关行动数上限设为人类平均的 5 倍，超出则视为未完成
- 采用平方计算：若人类需 10 步，AI 需 100 步，则该关卡得分为 1%
- 设计目的：惩罚蛮力搜索，兼顾数据效率与风险效率
官方 vs 社区排行榜
| 维度 | 官方排行榜 | 社区排行榜 |
|---|---|---|
| 评测方式 | 仅 API 调用，统一系统提示 | 接受 harness 驱动的结果 |
| 提交方式 | 自报告 | 自报告 |
| 目标 | 衡量模型自身的通用智能 | 允许工程投入 |
| 警告 | — | 社区榜得分不应视为 AGI 进步证据 |
Kaggle 竞赛过程中不允许访问互联网，需在本地运行开放权重模型。
关键发现
- 量级差距：前沿模型（GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro）得分均低于 1%，与人类 100% 基线相差百倍以上。
- 非 LLM 方案更优：预览阶段最高分为 12.58%，来自 CNN + 图结构状态探索（非语言模型）。
- 过拟合陷阱：Claude Opus 4.6 在已知环境中使用定制 harness 可达 97.1%，但在未见过的环境中归零——说明之前的成功来自记忆而非泛化。
- 基准污染风险：Gemini 3 的推理过程中曾正确引用 ARC-AGI 任务使用的整数-颜色映射，而这一信息从未明确告知模型——有力地表明前两代基准存在数据泄露。
- 饱和后的演进：ARC-AGI-1 已基本宣告解决（98%），ARC-AGI-2 也迅速接近上限，推动了第三代交互式设计。
⚠️ 口径警告：一个模型，两个分数
2026-09-03 ARC Prize 公布的 GPT-6 Astra 结果，是这份基准目前最重要也最容易被误引的一件事：同一套权重，两个 harness，分数差 37.2 个百分点。
| Reasoning effort | Standard harness | Provider Adapter harness |
|---|---|---|
| max | 62.7%, $26,098 | 98.55%, $17,332 |
| xhigh | 59.34%, $37,317 | 98.44%, $18,147 |
| high | 54.82%, $40,705 | 99.95%, $18,817 |
| medium | 38.59%, $48,090 | 98.44%, $19,285 |
| low | 17.45%, $38,166 | 98.03%, $21,298 |
| none | 35.18%, $49,791 | 96.72%, $23,457 |
- Standard harness：provider 中立，模型只能携带”它自己选择记下的笔记”跨轮推进。
- Provider Adapter harness：在请求之间保留不透明的推理状态，并对长对话做压缩，让模型复用此前已经完成的工作。
三点必须一起读：
- 推理档位在两种 harness 下的方向相反。 Standard harness 里 max 最好（62.7%）、low 最差（17.45%）；Adapter harness 里却是 high 最好（99.95%）、none 最差（96.72%），而且关掉推理（96.72%）依然远高于 Standard max（62.71%）。把”推理力度”拧到最大、在统一规则下，输给了关掉推理但保留上下文管道。
- 更贵的那次是分数更低的那次。 Adapter 的 high 档 26,098 只拿 62.7%。官方另算过两者都解出的 167 组游戏-推理对：Adapter 少用 49% 的 token，耗时快约 3.66 倍。
- ARC Prize 自己拒绝由此推出 AGI 结论。 同一周 Jensen Huang 称”AGI 已到来”、Greg Brockman 称”AGI 时代”，ARC Prize 明确表示”ARC-AGI-3 的饱和不应被解读为 AGI 的证明”，Mike Knoop 称尚无证据如此定性。
引用规则：跨模型比较用 62.7%；只有当你的运行时确实能跨工具调用保留推理态与压缩时，才可以用 99.9%。任何只写”ARC-AGI-3 得分”却不写 harness 的图表，都不可比。
最新进展
- 2026-10-08 更新：两条新曲线同时出现，一条来自 OpenAI 的新模型，一条来自 Kaggle 社区——后者信息量更大。
- GPT-6.1 Sol（2026-09-29）在两条 harness 上各落一个数：Standard 52.7%、Provider Adapter 96.4%，且官方称其成本较 Astra 低 77%。把它与 Astra 并排看，双脚手架的分叉被第二次复现：Astra 62.7 → 99.9（差 37.2pp），Sol 6.1 52.7 → 96.4（差 43.7pp）。两个模型在 Provider Adapter 下都逼近人类基线，在 Standard 下都只有一半出头——这不是某个模型的特性，是这个基准当前的稳定形状。⚠️ 一个反直觉的点：更便宜的 Sol 6.1 在 Provider Adapter 下反而低于 Astra 3.5pp，说明 Provider Adapter 的增益并非随价格单调。
- ⚠️⚠️ Kaggle 社区榜在 2026-10-04 冲到 55.89% RHAE（Tufa Labs 的 The Duck），而 2026-09-30 的 Milestone 2 冠军还只有 27.9%——四天翻倍。这条不进 topResults，理由是三条硬约束与官方榜不同：① 算力封顶：Kaggle 赛制禁止联网、固定 GPU 配额、单 GPU 上限，而 arcprize.org 官方榜的 Astra 条目是 $26,098 的 API 账单跑出来的；② 权重受限：榜首是一个 270 亿参数的开源权重模型（Qwen 3.6 27B FP8），官方榜前列全是闭源前沿模型；③ 必须开源：所有方案须以 CC0/MIT-0 释出才能拿到私有评估集分数，因此榜单演化靠的是社区互相抄作业式的级联，而不是各家内部迭代。 但恰恰是这三条约束让 55.89% 更值得注意：一个 27B 开源模型在单张 GPU 上、无外网、成本接近零的条件下，做到了官方榜闭源旗舰 62.7% 的九成。参照系很硬——ARC-AGI-3 在 2026-03 发布时所有前沿模型都低于 1%，人类是 100%。八个月内，社区用开源小模型从 <1% 走到 55.89%。
- 两条曲线合起来读：ARC-AGI-3 的瓶颈正在从「模型能力」移向「脚手架 + 算力预算」。OpenAI 自己在 2026-07 做过一次受控实验——只改两处配置、不动模型权重，ARC-AGI-3 分数涨 4.9 倍；本次社区榜从 7% 到 55.89% 的 30 天跃迁里，模型本身几乎没换。这与本卡 2026-09-17 记录的「同权重双脚手架 37pp 落差」是同一条结论的第三次验证。
- 赛程：$700,000 达到人类水平的大奖仍无人认领，最终提交截止 2026-11-02。
- 落榜注记：本次因新增两条 Sol 6.1 条目，把 Grok 4.6（2.1%）与 Claude Opus 4.8（1.5%）挤出了 Top 8。两者仍在下方 2026-08/07 的历史记录里，属榜单拥挤度变化而非分数下降。
- 2026-09-03：GPT-6 Astra 以 62.7% 登顶官方榜（BenchLM 与 DataLearner 口径一致，覆盖 12 个模型 / 135 个交互环境），把 Claude Opus 5 的 30.2% 直接翻倍，是继 Opus 5”首个突破 1% 门槛”之后该基准的第二次量级跃迁；GPT-6 Astra 同时在 Terminal-Bench 4.0（58.2%）与 GPQA Diamond（96.0%）登顶，成为首个在”交互推理 / 终端 Agent / 科学推理”三条线上同时占首的模型。距人类 100% 基线仍有 37.3 个百分点，基准远未饱和
- 2026-09-17 补录：除双 harness 分数外，ARC Prize 还给出一个不依赖分数的观察——Astra 在 96% 的关卡上使用的动作数少于其中位数人类基线，即在动作效率维度已经越过人类。这与 62.7% 的完成率并不矛盾：它解题更”省动作”，但仍有约三分之一的环境跑不通
- 2026-09：榜单呈现极端长尾——第 2 名 30.2% 到第 4 名 1.5% 之间断崖式跌落近 20 倍，说明 ARC-AGI-3 考察的”在线推断陌生环境规则”能力目前只在极少数前沿模型上出现，尚不存在渐进式的能力扩散
- 2026-08-13：开发者 Jeremy Berman 用「Claude Code + Opus 5（高推理模式）」在 25 道 ARC-AGI-3 公开测试题上取得 96.2%（pass@2 达 99.3%），是官方 30.2% 的 3 倍以上。方法几乎不依赖 ARC 特化设计：只给模型一个可执行环境 + 文件系统日志，让它现场写代码合成符号世界模型——Opus 5 一轮跑了 269 个程序、约 1.27 万行代码，25 关全部写了解析器、23 关配了搜索函数、9 关直接写出可运行的游戏模拟器。ARC 创始人 François Chollet 转发背书，称这是「LLM 引导即时合成符号世界模型」路线，并确认 ARC-AGI-3 所有顶级方案均采用此风格
- 2026-08：社区榜（允许 harness 工程投入）出现「破百」方案——Tycho 100%、Retrodict 99.9%、baseline1 99.0%；AI 训练平台 Prime Intellect 开源的 Prime Agent（MIT 协议，不改模型参数、仅改运行框架）配 Opus 5 三次跑出 95.0%/95.2%/95.5%，略高于 95.4% 的人类专家基线。同一模型从官方 30.2% 到社区 96.2% 的巨大跳变，把「harness 是能力还是绳子」的争议推向顶点——官方榜测的是「模型自身泛化」，社区榜测的是「模型 + 工程框架」的上限
- 2026-07-24：Claude Opus 5 以 30.2% 刷新 ARC-AGI-3 纪录（ARC Prize Foundation 在半私有评测集、high effort 下独立验证为 30.16%），约 4 倍于此前领头者 GPT-5.6 Sol（7.78%），Opus 4.8 仅 1.52%——这是该基准发布以来首个突破 1% 门槛的模型，也是”静态度量→陌生交互环境自适应”能力跃迁的最强信号；但距人类 100% 基线仍有约 70 个百分点
- 2026-05-01：官方发布 GPT-5.5 (0.43%) 和 Claude Opus 4.7 (0.18%) 结果，均低于 1%
- 2026-05：GPT-5.5 略优于 Opus 4.7，但均未达到 0.5%——与人类 100% 基线相差数百倍
- 2026-04：官方排行榜初步结果：Gemini 3.1 Pro (0.37%)、GPT-5.4 (0.26%)、Claude Opus 4.6 (0.25%)、Grok-4.20 (0.00%)
- 2026-03-25：ARC-AGI-3 正式发布，Kaggle 竞赛开始
局限性与展望
- 回合制交互场景不能代表所有 AGI 维度
- 人类玩家数据采集成本高，限制了规模扩展
- 评测基础设施（游戏引擎）复杂度高
- 但作为 AGI 进展的长期观察窗口价值独特——将在 2026 年全年持续运行
关联基准
- ARC-AGI：第一代，已基本饱和
- ARC-AGI-2：第二代，已接近饱和
- FrontierMath：数学前沿推理
- Putnam-AXIOM：数学证明
参考链接
- 官网：https://arcprize.org/arc-agi-3
- 论文：arXiv:2603.24621
- 评测数据：https://www.datalearner.com/benchmarks/arc-agi-3