同一个模型,十四种外壳 · Harness 放大器实验室

分数涨了 2.4 倍,模型一个字节都没换——真数据墙 · 效率溢出真算器 · 迁移崩塌双环境 · 「测的是谁」控制点矩阵

VISTA:Claude Opus 5.0
40.68 → 100.00
📖 RHAE · 只换外壳
Provider Adapter:GPT-6 Astra (High)
54.8% → 99.9%
📖 官方榜 · 还更便宜
OpenAI 受控实验
4.9×
📖 只改两个配置项
矩阵留白率
83.7%
🧮 41/49 格没有任何证据源报告

同一个模型,只换一层「怎么看世界」的外壳,分数可以从 40.68 涨到 100.00。 模型权重一个字节都没变。于是问题变成:这个分数里,模型贡献了多少,工程贡献了多少?

ARC Prize 官方明确警告:不要把 harness 结果当作 AGI 进展。Chollet 的立场:G 代表 general,普通人不用任何提示就能做,AGI 没理由需要手搓 prompt。

三组「底座 / 外壳 / 分数」

📖 全部官方或论文读数

Claude Opus 5.0底座不变2.46×
40.68
100 RHAE
外壳:直接看原始渲染图 + 保留无损视觉记忆 + 可主动回看历史观测
arXiv:2610.02200(VISTA,MIT,2026-10-01)
全部 25 个公开游戏;动作数比首次人类少 57.4%
GPT-5.6 Sol底座不变7.43×
13.33
99 RHAE
外壳:同上(同一套外壳,换成另一个底座)
arXiv:2610.02200(VISTA,MIT,2026-10-01)
GPT-6 Astra (High)底座不变1.82×
54.8
99.9 %
外壳:官方 Standard harness → Provider Adapter harness
ARC Prize 官方榜
换外壳之后还更便宜:$40.7K → $18.8K
GPT-6 Astra (Max)底座不变1.57×
62.7
98.6 %
外壳:官方 Standard harness → Provider Adapter harness
ARC Prize 官方榜
$26.1K → $17.3K

只报了倍数,没报端点

📖 无法画成一条 before→after 的条

4.90×
外壳:只改两个配置项,模型不动
底座:未指明(官方未披露) · OpenAI 受控实验 · 2026-07

没有 before/after 两个端点,本站就不画条形——只标倍数。

⚠️ 口径隔离

不可比的两组数字,左右分栏,不合并

VISTA 论文里的「before 40.68」是论文自己复现的官方实现基线,官方榜 Claude Opus 5 (High) 是 30.2%——不同档位、不同实现,两者不可比,本站不合并。

论文复现的官方实现基线
40.68 RHAE
官方榜 Claude Opus 5 (High)
30.2%
一手出处 · 数据快照日 2026-10-10