为什么重要
Senior SWE-Bench 揭示了 AI 编码 Agent 评测的”代际”问题——SWE-bench / SWE-bench Pro 等现有基准测的是”初级工程师”能力（修复 bug、过测试），而真正部署到生产环境的 Agent 需要的是”高级工程师”能力（设计 feature、理解跨服务架构、对模糊指令做合理判断）。Snorkel AI（数据标注领域的领军者）联合 Princeton、UW-Madison 推出的这一基准，主张”SWE-bench Pro 测的是合同式任务，Senior SWE-Bench 测的是 Slack 风格信息”。
核心发现：所有前沿 AI 编码 Agent 在 tasteful solve rate 上均不超过 30%——即使是 Claude Fable 5 也仅 29.1%，Opus 5 28.2%，GPT-5.6 Sol 24.4%。在 basic solve rate（仅过测试）维度上，GPT-5.6 Sol 反超达 54.7%，显示”能写对代码”和”能写出有品味的代码”是两个独立的能力。Anthropic 在 tasteful 维度上领先（Fable 5 29.1% vs Sol 24.4%），但 OpenAI 在 basic 维度上领先（Sol 54.7% vs Fable 5 46.5%）——代码正确性 vs 代码品味的权衡清晰可见。
构建方式
- 真实 PR 来源：从 12 个开源项目（库、工具、服务、完整应用各类型）的真实 PR 提取任务，作者均为有 100+ commits 的维护者
- Slack 风格指令：任务的 prompt 长度中位数仅 639 字符（vs SWE-bench Pro 的 3000+ 字符），例如”Google Books should be a fallback metadata source for BookWorm”——没有详细规格、没有函数签名
- 100 个任务：50 个 public 公开供社区使用，50 个 private 防止污染
- 6 维度评估门：每个任务通过 6 个评估 gate 判定质量（verifier、validation agent、rubric、bloat、codebase practice、taste）
- 双指标：
- Basic Solve Rate：通过所有预写 verifier + 自动化验证测试的比例
- Tasteful Solve Rate：在 basic 之上，还需通过 4 个质量门（rubric 评分、bloat 抑制、codebase practice、taste vs expert reference）
任务类型
| 类别 | 描述 | 文件数 / 任务 | 平均 token |
|---|---|---|---|
| Design-and-Implement Features | 从模糊指令构建完整 feature | ~11 | 117K |
| Investigate-and-Fix | 多服务 bug 调试 | 较多 | 中等 |
| Code Review | 接收 PR 识别正确性问题 | 中等 | 低 |
| Refactoring | 跨文件行为保持的重构 | 较多 | 高 |
| Architectural Reasoning | 评估方案与现有约束 | 中等 | 中等 |
关键发现
- 严格口径下榜首直接归零（2026-09 官方榜新增观察）：官方榜在 pass@1 之外还给出 pass@3 与 pass^3 两栏（页面未对后两者给出显式定义，按列名推断为更严格的多次/一致通过口径）。pass@1 居首的 Fable 5.1 在 pass^3 上 Tasteful 与 Basic 双双为 0%，而 Fable 5 为 20% / 43.2%、Opus 5 为 17.9% / 44.2%、GPT-5.6 Sol 为 12.6% / 40.0%。“谁第一”高度依赖于把统计量定在哪一档——单档通过率排名与一致性口径排名可以给出相反的结论
- Tasteful vs Basic 倒挂：GPT-5.6 Sol basic 54.7% 最高但 tasteful 仅 24.4%；Opus 4.8 tasteful 25.0% 但 basic 仅 39.8%——两个指标的领先者完全不同；Basic 榜 GPT-5.5 仍以 56.8% 居首（但 tasteful 仅 15.9%）
- GPT-5.6 Sol 的”正确但不够好”悖论：Sol 在 basic solve 上 54.7%（所有模型最高），但在 tasteful 上 24.4%（落后 Fable 5 4.7pp）——OpenAI 的最新旗舰在”写对代码”上无出其右，但 Anthropic 在”写出融入代码库的代码”上仍领先
- Token 消耗差异：Opus 4.8 平均 117K output tokens/feature 任务；Sonnet 5 达 304K；GPT-5.6 Sol 仅 31.1K（最低）——Sol 的效率优势在 senior 级任务上尤为显著
- 单步任务上开源占优：GLM-5.2 basic 31.3% 已超过 Sonnet 4.6 (8.2%) 和 Kimi K2.6 (8.2%)，但 tasteful 仅 12.5%——说明开源模型在”理解题目”上不输，但在”代码品味”上落后
- 评测脚手架主导排名：当前仅 Mini-SWE-Agent 一个 harness，不同 harness 可能完全重排——Snorkel 自承”results likely reorder with different scaffolds”
与其他基准的对比
| 维度 | SWE-bench Pro | Senior SWE-Bench |
|---|---|---|
| 指令风格 | 合同式（30+ 行 Problem/Justify/Define Success） | Slack 风格（1-2 句话） |
| 任务来源 | GitHub issue | GitHub PR（100+ commits 作者） |
| 任务数量 | 1865 | 100 |
| 中位 prompt 长度 | ~3000 字符 | ~639 字符 |
| 评分方式 | 测试通过率 | basic + tasteful 双指标 |
| 任务跨度 | 单文件 bug 修复 | 跨服务 feature 设计与实现 |
| SOTA | Fable 5 80.3% | 四路并立 34.7%（2026-09 官方榜） |
| 适用场景 | 测”会写代码” | 测”会做工程” |
最新进展
- 2026-09-28 官方榜刷新：Snorkel 官方子榜已扩到 19 条全部采用 Mini-SWE-Agent 的条目，并同时给出 pass@1 / pass@3 / pass^3 三种统计量下的 Tasteful 与 Basic 双指标。本卡 topResults 整体替换为该榜的 pass@1 口径，头名由 29.1% 抬到 34.7%，且出现 Fable 5.1 / Fable 5 / Opus 5 / GPT-5.6 Sol 四路并立——四家在 tasteful 上完全打平，只能靠 Basic Solve Rate（Opus 5 62.1% 最高）与消耗（GPT-5.6 Sol 50 步 / 32.7K token 最省）区分。⚠️ 本次刷新同时修正了旧卡的多处偏低值：Opus 4.8 25.0% → 30.5%、Sonnet 5 17.4% → 28.0%、GPT-5.5 15.9% → 29.5%
- 2026-07-24：Claude Opus 5 发布，Senior SWE-Bench 以 28.2% tasteful / 51.8% basic 进入 Top 2，仅次于 Fable 5 (29.1%)；Opus 5 以”一半 Fable 价格”（25）逼近 SOTA，且 basic solve 51.8% 是所有 Anthropic 模型中最高的
- 2026-07-09：GPT-5.6 Sol 发布，Senior SWE-Bench 以 24.4% tasteful / 54.7% basic 进入 Top 4；Sol 的 basic solve 率 54.7% 是所有模型中最高——OpenAI 在”能写对代码”上领先，但在”能写出有品味的代码”上落后 Anthropic 约 4.7pp
- 2026-07-08：Grok 4.5（xAI, V9~1.5T）以 17.2% tasteful / 49.4% basic 进入 Top 6，超越 GPT-5.5 (15.9%)
- 2026-07-16：Kimi K3（Moonshot AI, 2.8T MoE）以 12.9% tasteful / 35.3% basic 首次上榜，超越 K2.6 (9.4%)，开源模型在 senior 级工程任务上稳步推进
- 2026-07：Snorkel 官方排行榜扩展至 16 模型——新上榜 MinMax M3 (13.8%)、GPT-5.4 (13.6%)、GLM-5.2 (13.1%)、Kimi K3 (12.9%)、Kimi K2.6 (9.4%)、Sonnet 4.6 (9.3%)、Gemini 3.1 Pro (6.8%)、Gemini 3.5 Flash (3.4%)
- 2026-07-01：Snorkel AI 在 X 平台正式公布 Senior SWE-Bench，10 个前沿 Agent 即时评测，Opus 4.8 以 24.0% tasteful / 42.0% basic 居首
- 2026-07-02：Hacker News 帖子评分 85 持续上升，“AI 替代高级工程师”叙事遭遇公开质疑
- 2026-07-03：aibytes.blog 详细评测显示 Top 模型 basic solve 落在 40-55% 区间，tasteful solve 落在 14-24% 区间——评测结果呈”双峰分布”
- 2026-07-04：explainx.ai 指出 Snorkel 与 Terminal-Bench 2.0 共享 Harbor 框架，评测基础设施一致性高；Snorkel 自承”50 public tasks 偏小，方差较高”
- 2026-07-06：可酪创新科技 wechat 报道 Chinese AI 圈关注 Senior SWE-Bench——指出 Opus 4.8 完成任务平均跨 11 个文件 / 11.7 万 token，与”高级工程师”工作量（feature 级别）量级一致
- 关键趋势：Senior SWE-Bench 暴露了 SWE-bench 家族的”初级偏见”——只有 Snorkel 这类数据公司能负担高质量 rubric grading；50 public 任务偏小需要后续扩展；Harbor 框架使评测可复现但单 harness 限制了结论普适性；下一代基准可能需要”AI 工程师 benchmark” 概念，区分”代码能力”与”工程能力”
关联基准
- SWE-bench Pro：仓库级代码修复，测”初级”能力
- SWE-bench Verified：已被 OpenAI 弃用，但仍是基本对照
- DeepSWE：零污染 SWE 基准
- ProgramBench：从零构建软件系统
- Terminal-Bench 2.0：终端 Agent 评测
不足与展望
- 50 public 任务偏小，pass@1 方差高
- 单一 harness（Mini-SWE-Agent），其他脚手架可能完全重排
- Taste 指标 codebase-specific（PostHog 风格 vs 自家 monorepo 不同）
- Private 50 任务不公开，可能被”针对训练”影响
- Snorkel 同时是 Terminal-Bench 2.0 联合作者，需独立第三方验证
- 中等规模（3-8B）模型在 Senior SWE-Bench 上表现仍待评估