为什么重要
Agent 评测这两年最大的问题不是缺基准，而是基准太多、口径互不相通。每个基准自带环境、自带 agent 集成、自带打分协议，跨基准比较几乎等同于在不同仪器上读数。Harbor 这篇论文的切入点是：先把仪器统一，再谈测量。
它做了两件事。第一件是 Harbor Adapters——把 80 多个基准翻译成统一的 instruction / environment / tests / solution 四元组，让任意 agent 都能在同样的执行层上跑。第二件是 Harbor-Index——从适配好的 54 个基准里，经难度过滤、AI 与人工审计、audit-and-fix 循环，收敛出 82 道覆盖 29 个基准的题。
Harbor-Index 的价值在于它同时解决了两个互相拉扯的约束：大规模 Agent 评测贵到没法常跑，而小规模子集又容易一跑就饱和。它的答案是”82 道题、没有配置过 30%“——密集、跨领域、难度足够，而且未解任务里的失败是模型问题，不是题目坏了。
构建方式
适配层：Harbor 把任务抽象成 instruction（指令）、environment（环境）、tests（测试）、solution（参考解）四部分。各基准的私有格式由 adapter 翻译进来，从而把 agent 执行与基准特定逻辑解耦。每个 adapter 都要过代码审查和 parity 实验——即验证移植后的得分与原版榜单可比。
大规模评测：8 个跨能力档位的模型，每个跑两个 harness——跨族的 Terminus-2，以及各自的原生 harness（GPT 用 Codex、Claude 用 Claude Code、Gemini 用 Gemini CLI）。总计 16 组配置、4 套不同的 harness 实现、54 个基准、6,627 个任务，每组三次重复试验，烧掉 2,260 亿 tokens 和 30 多万美元。
筛选：难度过滤（去掉太容易的）→ AI 审计 → 人工审计 → audit-and-fix（发现题目有问题就修或剔除）。这一步针对的是论文里点出的一个普遍痛点：未解任务里任务本身定义错误相当常见，这会让人分不清一个基准到底还有上升空间，还是剩下的题根本无解。
关键发现
- 模型比 harness 更决定成绩。在同一套 executor 上换模型，带来的差异大于在同一模型上换 harness。这给”harness 决定一切”的流行叙事降了温——脚手架重要，但没重要到能盖过权重。
- 模型排序高度相关。更好的模型通常在很多基准上都更好，而不是只在特定细分领域称王。这意味着” niche 强者”比想象中少。
- 强模型反而更省 token。在全部经验难度档位上，越强的模型用掉的 token 越少。能力和效率不是此消彼长。
- 54 个基准里 13 个基本饱和（SOTA 超过 90%），包括 GPQA-Diamond 这种曾经的硬骨头。软件工程分化明显：函数级和竞赛级编码接近饱和，仓库级特性实现与 issue 修复仍在快速爬升。
- 成本差距极大：跑完一次 Harbor-Index，Claude Opus 4.8 在 Claude Code 下要 269 美元，MiniMax M3 在 Terminus-2 下只要 18 美元——差 15 倍，而分差只有 14.6 个百分点。
- harness 迁移存在系统性偏差：6 个经 OpenRouter 服务的模型统一用 Claude Code，会因缓存命中率低而把成本抬高；GLM 5.2 用 Claude Code 花 205 美元得 8.5%，换 Terminus-2 只花 52 美元却得 9.8%——更便宜还更好。
关联基准与展望
关联：SWE-bench Verified、Terminal-Bench 4.0、GAIA、WebArena、τ^τ-Bench（同为”抬高一层”的元评测思路）。
两个值得盯的方向。一是 Harbor-Index 会不会成为 Agent 领域的”标准小集”——如果半年内最强配置从 28% 爬到 50%，说明它确实在有效追踪能力增长；如果大家各跑各的子集，它就退化成又一份论文附属品。二是 adapter 层的归属权：当 80 多个基准的执行层都被同一套 schema 收编，谁维护这套 schema，谁就在事实上定义了”Agent 能力”的计量单位。这个位置比任何一个单独基准都更有杠杆。