为什么重要
ARC-AGI 是 Keras 创始人 Francois Chollet 设计的”AI 智力测试”。不同于知识驱动的 MMLU 或技能驱动的 HumanEval，ARC 考察的是从少量示例中归纳出规则并应用到新输入的能力——这被认为是通向 AGI 的核心能力。
构建方式
- 每道题是一组输入→输出的彩色网格对（3-5 个示例）
- 模型需要从示例中归纳出变换规则
- 然后将规则应用到一个新的输入网格，生成正确的输出网格
- ARC-1：800 道题，ARC-2（2025.11）：100 道更难的题
- 纯视觉 grid，没有文字——必须靠视觉模式识别
任务示例
示例 1：给 3 个示例：每个输入网格中有一个彩色形状，输出是该形状旋转 90 度后的网格。模型需要归纳出”旋转 90 度”的规则并应用到新输入。
示例 2：输入中有散布的彩色点，输出是将同色点用线连接。模型需要归纳出”连接同色点”的规则。
关键发现
- ARC-1：o3 以 87.5% “破关”，但使用了极高的计算量（数千美元/题）
- ARC-2：o3 骤降到 4%，证明 ARC-1 的”解决”可能是暴力搜索而非真正理解
- 人类在 ARC 上接近 100%——这是 AI 与人类差距最大的基准之一
2026-10-10 更新：ARC-1 已经打完，但”打完”这个词要写清楚
ARC Prize 在 2026-09-30 公布的 GPT-6.1 Sol 验证结果把三代 ARC 放在了同一张表里，这是本卡迄今最完整的一次时间切片：
| 代 | GPT-6.1 Sol | GPT-6 Astra | 单题成本（Sol） |
|---|---|---|---|
| ARC-AGI-1（半私有） | 98.5%（xhigh / high） | 98.5%（max） | $0.06 |
| ARC-AGI-2（半私有） | 94.2%（max） | 95.0%（max） | $0.25 |
| ARC-AGI-3（标准 harness） | 52.73%（max） | 62.7%（max） | $7.6K 全程 |
| ARC-AGI-3（Provider Adapter harness） | 96.37%（xhigh） | 99.9% | $4.4K 全程 |
三行要分开读，合在一起读就是错的：
- ARC-1 事实上已经结束。 98.5% 意味着 800 题里只错 12 道；单题成本 $0.06 相比 o3 时代的数千美元降了四个数量级。本卡 saturation 字段从”未饱和”改为”接近饱和”，指的是 ARC-1 这一层——ARC-2 与 ARC-3 分别见各自卡片。
- ARC-1 上出现了一个反直觉的档位倒挂。 Sol 的 xhigh / high 是 98.5%，max 反而只有 96.5%，low 93.5%、medium 95.5%。在这个任务上把推理预算拉到最高是净负收益。这与本库在 Terminal-Bench、FrontierMath 上记录的”档位不单调”是同一族现象（同权重、不同推理档位 → 不同分数）。
- ARC-3 的两行差 43.6pp，差的是脚手架不是模型。 Provider Adapter 会跨请求保留不透明的推理态并做自动压缩，Standard harness 只保留模型自己选择携带的笔记。同一套权重、同一个模型、同一批关卡，换个 harness 差 43.6pp——这是目前公开记录里最大的一次”脚手架效应”。
被本轮换下的是 o3 在 ARC-2 上的 4%（已归入 ARC-AGI-2 卡）与本卡的历史底噪行；o3 的 ARC-1 87.5% 与 GPT-4o 的 5% 作为时间切片保留在榜内，读榜时请注意它们与 2026 行的口径不同（公开集 + 高计算量 vs 半私有集 + 成本受限）。
引用提醒：ARC Prize 的半私有集用于防污染，公开排行榜与半私有成绩不是同一套题。任何把”98.5%“写成”ARC-AGI 已解决”的表述，都应当补上”半私有集 / 成本受限 / 仅 ARC-1”三个限定。
关联基准
- SimpleBench：同样考察直觉/常识推理
- FrontierMath：同样对 LLM 极其困难
- HLE：同样是”最难”级别的综合评测
不足与展望
- ARC-1 被 o3 “破解”说明可能存在 shortcut（高计算量暴力搜索）
- ARC-2 大幅提升了难度，但样本量小（100 题），方差大
- 核心问题：ARC 到底在测”真正的归纳推理”还是”程序搜索”？学术界仍有争议