为什么重要
社区有个越来越难忽视的共识：同一个模型换一套执行框架，成绩能差出一截。规划、工具、记忆、验证、停止规则——这些包在权重外面的东西被统称为 agent harness。但几乎所有 Agent 评测都是把 harness 冻住、只换模型，于是 harness 被当成实验装置的一部分，而不是被考察的对象。
HarnessDev 把评测单元挪到了 harness 自己身上。它的论证很直接：既然改动 harness（权重不变）就能大幅改变任务表现，而真实部署里”把通用模型变成能干活的系统的那层外部设施”正是前向部署工程师的日常工作，那模型能不能自己建这层东西，就该被单独测量。
它还强调这不是代码生成的变体：编辑 harness 是在编辑模型自己的执行基板，会改变它在未来每一个任务上的观察、规划与恢复方式。改进它需要诊断结构性瓶颈并提交可复用的能力增益，跟”写一个正确的函数”是两种技能。
构建方式
Creation（创造）：模型拿到一个最小种子——只有文件、搜索、进程三类原语，没有 planner、没有 verifier、没有重试逻辑、没有停止规则——外加少量样例，要求搭出一套完整执行系统：工具定义、控制流、上下文处理、状态管理、恢复机制、验证逻辑。
Evolution（演化）：把刚造好的 harness 连同下游执行反馈一起交还模型，让它反复改写自己的产出去推高基准分数。这是自我改进的回路。
双轴评分：能力轴看留出下游基准的任务成功率，效率轴看执行 token 成本。一个分数漂亮但烧掉三倍 token 的 harness，和一个两项都跟上的 harness，是两种不同性质的胜利。
剥离共适应：Self-Eval 下模型用自己的 executor 跑自己的 harness，混进了”设计 × 能力 × 二者匹配度”三件事。Unified-Eval 固定用 Gemini 3.1 Pro 执行所有 harness，把匹配度这一项抠掉。
关键发现
按域分化，且分化的方向很有信息量（Self-Eval，括号内为人类工程参考）：
| 域 | 下游基准 | 最佳生成 harness | 人类参考 |
|---|---|---|---|
| 代码 | SWE-bench Pro | Opus 4.8：69.3 | 80.0 |
| 终端 | Terminal-Bench 2.1 | Gemini 3.1 Pro：68.8 | 88.8 |
| 搜索 | BrowseComp | GPT-5.5：52.6 | 92.2 |
| 写作 | EQ-Bench3 | Opus 4.8：84.6（超过参考） | 83.7 |
| ML 实验 | MLE-bench | Opus 4.8：32.9 / Gemini 32.4（超过参考） | 24.0 |
生成 harness 在代码和搜索上明显落后，在写作和 ML 实验上追平甚至超过参考。论文给出的读法很克制：差距跟的是人类工程投入的积累量，不是任务的内在难度。代码和检索这两块被灌了多年的 lint、测试运行器、结构化检索流水线、引用追踪；写作和 ML 实验的工具面本来就薄，模型自己的判断反而占更大权重。
换 executor 会重排座次。固定 Gemini 3.1 Pro 执行后，Opus 4.8 的 SWE-Pro 从 69.3 掉到 33.0，Qwen 3.7 Max 的综合分反而从 44.0 涨到 52.8。一个 harness 是为它的 executor 调过的，换个模型跑就不一定灵。最生动的失败案例：一个 Opus 代码 harness 在 Self-Eval 下表现很好，换 Gemini 几乎崩掉——因为它把 120 步上限硬编码在了原 executor 的节奏上。
自我演化被高估了。演化确实带来一些增益，但不稳定、且只能部分迁移到留出任务：相邻版本切换中，可见集与留出集同向变动的比例是 34/64（53.1%），9 个被宣布为”最终版”的版本里只有 2 个在留出集上是最优的。可见反馈适合做局部搜索，不适合做最终选择——它会奖励幸运的跑次并放大过拟合。
成本与能力脱钩。MLE-bench 上的 token 消耗相差约 19 倍，但更高的开销并不稳定换来更高分数。此外，77.8% 的失败 Data 任务归因于 harness 缺陷，说明瓶颈不只在 executor 的能力。
关联基准与展望
关联：Harbor-Index（同月发布，实测”模型 > harness”）、τ^τ-Bench（同样问”模型能不能造出做任务的系统”）、SWE-bench Pro、Terminal-Bench 4.0。
这是 ByteDance Seed 自演化 Agent 三基准计划（连同 Aspire、S³Gym）的一部分，目标是探明从”半回路”递归自我改进（假设有一个黄金验证器）到闭环 RSI 的路径。对业界的即时含义很朴素：现在就别把”Agent 自建工具链”的宣传打折前先打个问号——问一句：这个增益在留出任务上还在吗？换个模型跑还在吗？ 对研究者来说，它示范了一种新的评测视角：当模型能力趋于收敛，基础设施差异会成为决定性因素，那就让基础设施本身成为被测物。