为什么重要
ARC-AGI-1 在 2026 年已经基本被刷穿了——前沿模型在原始输出格子任务上的准确率进入八成甚至九成区间，ARC Prize 因此接连推出 ARC-AGI-2 与 ARC-AGI-3。但 PotARCin 问的是一个更难回避的问题：刷穿的那个数字，到底测到了什么？
标准 ARC 评测只考一项能力——给定测试输入，产出正确的输出格子。这是 Chollet 所谓”技能习得”的一个极窄切片：模型从少数几个演示里推断出一条变换规则，然后把它用一次。至于这条规则是不是被当成一项可复用技能掌握了，标准评测完全不测。
PotARCin 的做法是不换更难的题，而是换更多的问法。同一条规则要用五种方式调用：
- Definition：写一个实现这条规则的通用 Python 程序（相当于自己写出 verifier）
- Classification：判断一个候选输入输出对是否符合这条规则（含 5 类精心构造的损坏对）
- Constrained Generation：在约束下生成该规则的新实例
- Editing：对给定输入做最小编辑，使规则成立
- Inversion：由输出反推输入
结论相当直白：在 ARC-AGI-1 训练集上，全维通过率比输出格子准确率低 25–52 个百分点；在手工构造的留出集 P-ARC 上，全维通过率只剩 1–8%。 论文的措辞是，即使 ARC-AGI-1 训练题很可能已经进了部分模型的训练语料，从”抽象技能习得”的角度看它也不应被视为已解决。
（arXiv:2609.27288，作者 Claas Beger、Ryan Yi、Melanie Mitchell，均来自 Santa Fe Institute。）
构建方式
题源分两套。 主体是 ARC-AGI-1 训练集的 400 道题。关键是五个维度都要靠显式的 generator 与 verifier 程序来判分，所以作者为每道题都准备了可用的 verifier：在现有 verifier 来源里为 394/400 道题取到了至少一个有效 verifier，剩下 6 道人工实现并用同一流程校验。第二套是 P-ARC——50 道手工编写的留出题，程序由作者自己写并测试。
分类维度的损坏候选对。 这一维不是简单造错答案，而是造看起来像对的错答案，共五类：
| 损坏类型 | 构造方式 | ARC-AGI-1 采样权重 |
|---|---|---|
| Valid（动态生成的正确对） | 由 generator 采样的真实合法实例 | 0.250 |
| Human error（H-ARC） | 取自 H-ARC 数据集中人类被试真实犯的错 | 0.235 |
| Instance mismatch | 用编辑距离选出的”相似但来自另一实例”的输出替换正确答案 | 0.215 |
| Corrupted verifier | 由偏离原意的候选 verifier 产生的输出 | 0.130 |
| Retrieval | 用 embedding 检索规则相近的题目，从中采样输入输出对 | 0.103 |
| Color flip | 翻转输入或输出中某个格子或小块连通区域的颜色 | 0.067 |
P-ARC 的权重不同：检索类在更小、分布偏移的 P-ARC 上 embedding 相似度更低、不太适用；颜色翻转也因 P-ARC 含较少颜色变换规则而偏简单。
评测规模。 每道题在六个指标（原始输出格子 + 五维）上评测，5 个模型各跑 2 次独立运行。ARC-AGI-1 侧每次运行的样本量是 800 个任务评估，P-ARC 侧是 100 个。全部模型统一配置为低推理档（low reasoning effort）。
关键发现
1. 输出格子准确率与全维通过率之间存在 25–52pp 的鸿沟。 ARC-AGI-1 训练集的完整结果（两次运行合并，括号为 Wilson 95% 区间）：
| 模型 | Output grid | Definition | Classification | Generation | Editing | Inversion | Full-task | Indep. |
|---|---|---|---|---|---|---|---|---|
| Gemini 3.1 Pro Low | 89.1 | 79.2 | 75.9 | 88.0 | 85.8 | 88.2 | 58.2 | 40.0 |
| GPT-5.4 Low | 84.2 | 73.6 | 83.8 | 77.2 | 84.0 | 85.1 | 46.6 | 34.0 |
| Kimi K2.5 | 63.4 | 64.5 | 63.5 | 71.8 | 79.6 | 85.8 | 38.6 | 20.1 |
| Claude 4.6 Opus Low (120K) | 87.6 | 66.8 | 71.5 | 78.9 | 88.2 | 91.0 | 37.6 | 30.2 |
| MiniMax M2.5 | 72.9 | 56.6 | 42.4 | 64.6 | 68.6 | 76.6 | 20.6 | 8.1 |
2. 多维度评测会重排名次，而且方向不一致。 在输出格子上 Gemini 3.1 Pro（89.1）高于 Claude 4.6 Opus（87.6），全维通过率上 Gemini 58.2 也确实领先。但换到 50 题的 P-ARC 留出集，Claude 4.6 Opus 的输出格子准确率 64.0% 反而是全场最高，Gemini 只有 45.0%。论文明确点出：在输出格子上最弱的模型，在更宽的规则能力上并不是最弱的——这两个排序衡量的是不同的东西。
3. Indep. 基线说明维度之间确实正相关，但连乘损失仍然巨大。 Indep. 是五个边际准确率之积，即假设各维度独立通过时的期望全维率。逐行可验证：GPT-5.4 的 0.736 × 0.838 × 0.772 × 0.840 × 0.851 = 34.0，与表中完全一致。观测到的 Full-task（46.6）高于 Indep.（34.0），说明各维度并非独立失败、存在正向关联；但两者都远低于任一单维准确率——这就是”联合五个维度”的机械代价。
4. 自洽性分析给出了一个 Potemkin 式的失效形态。 在 Definition 程序可执行且正确的前提下，模型自己的程序与自己的答案达成一致的比例：
| 数据集 | 另一答案正确时的一致率 | 另一答案错误时的一致率 |
|---|---|---|
| ARC-AGI-1（合并） | 99.1% | 21.1% |
| P-ARC（合并） | 94.0% | 17.1% |
也就是说：当模型的答案本来就是对的，它写出的规则程序几乎必然自洽；一旦答案错了，它写出的程序只有两成左右会跟着错——它会坚持一个与自己刚给出的答案相矛盾的规则表述。模型可以在一种场合正确形式化一条规则，却在另一种场合无法一致地应用它。
5. 单次全维通过会高估能力。 对 GPT-5.4 在 ARC-AGI-1 上五维全过的 20 道题做重采样，每题 10 个同种子重复配置（共 200 次完整五维评估）：其中 15 道题至少有一个重采样配置失败。硬全维通过率随采样预算上升而单调下降：65.0 → 45.0 → 35.0 → 25.0（采样数 1 / 2 / 5 / 10）。“通过一次”不等于”稳定掌握”。
6. 跨维度探测比同维度重复探测更能暴露失败。 在同等预算下，五个维度各探一次会在 25.5% 的试验中暴露失败，而同一维度探五次只暴露 20.2%。这说明掉点不全是把五个维度连乘起来的算术代价，其中有一部分是真实的跨维度不一致。
7. 人类犯的错是最难识别的损坏类型。 分类维度按损坏类型拆分（数值为误判率，越低越好；加粗为该列最低）：
| 模型 | Human | Corrupted verifier | Correct | Color flip | Retrieval | Instance mismatch |
|---|---|---|---|---|---|---|
| MiniMax M2.5 | 31.32 | 26.62 | 3.66 | 40.23 | 40.43 | 18.12 |
| Claude 4.6 Opus | 20.74 | 11.14 | 1.84 | 8.76 | 4.52 | 4.59 |
| Kimi K2.5 | 18.54 | 11.24 | 5.98 | 25.78 | 10.79 | 7.75 |
| Gemini 3.1 Pro | 16.37 | 8.99 | 5.48 | 2.82 | 2.17 | 6.81 |
| GPT-5.4 | 8.21 | 2.30 | 5.06 | 6.53 | 3.15 | 1.85 |
H-ARC 的人类真实错误在 ARC-AGI-1 上是失败率最高的一类（多数模型 16–31%，MiniMax 达 31.32）。机器造的干扰反而相对好识别，人类犯的错最难——这大概是因为人类错误往往”看起来也讲得通”。
8. 两次运行之间的稳定性并不高。 五个模型各自通过全部五维的题目数在两次运行间的 Jaccard 重叠只有 0.49–0.79：Gemini 0.79、GPT-5.4 0.64、Claude 0.55、MiniMax 0.53、Kimi 0.49。接近一半的”掌握集合”在重跑时换了一批题。
最新进展
- 2026-09-23：arXiv:2609.27288 上线，公布 400 道 ARC-AGI-1 训练题 + 50 题 P-ARC 的五维评测与全部诊断分析
- 2026-09-28 建卡：本卡所有数值取自论文 HTML 全文 Table 1–8 与 Figure 3/4 说明，未依赖聚合站。两项自洽校验通过：① 五行 Indep. 值均可由该行五个边际准确率连乘复现（GPT-5.4 34.0、Gemini 40.0、Claude 30.2、Kimi 20.1、MiniMax 8.1，逐行误差 <0.1pp）；② Table 2 的六类采样权重加和 = 0.250 + 0.235 + 0.215 + 0.130 + 0.103 + 0.067 = 1.000
局限性与展望
- 生成器与 verifier 的质量就是基准的上限。 论文自己承认：ARC 题目是欠定的，同一组演示可能同时符合多条规则。某个被指定 verifier 标为无效的候选对，在另一条同样自洽的规则下可能是可解释的。因此 Classification 应理解为”是否遵从基准指定的那条规则”，而不是”证明不存在其他一致规则”
- 对 ARC-AGI-1 侧复用的 verifier 来源，作者观察到部分候选 verifier 捕捉的是相近变体而非原意规则——这说明主结果的精度存在上限
- 算力可比性存疑。 所有模型都设为低推理档，但 Claude Opus 4.6 在 P-ARC 上被观察到消耗的 token 明显高于其他模型，可能影响对比
- P-ARC 的难度估计来自内部可行性检查，而非正式的人类研究。 50 题的样本量也让多数单元格的置信区间很宽（颜色翻转类只有 14 个候选）
- 只测了 5 个模型，且都是 API 商用模型。 没有开源权重对照，也没有把 ARC-AGI-2 / ARC-AGI-3 的任务纳入——论文明确把自己的定位限定为”在更简单的静态规则上，灵活性仍然不足”
关联基准
- ARC-AGI-1：本卡直接扩展的对象，标准评测只考输出格子，本卡证明了这个切片的解释力有限
- ARC-AGI-2：走”出更难的题”路线，与本卡的”同样难的题换更多问法”是两条互补的加压路径
- ARC-AGI-3：走交互式环境路线；本卡的结果说明即使退回最简单的静态规则，领域也远未饱和
- BabelArena：同样是”同一能力换多种用法”的思路，但落在多语言 Agent 场景