为什么重要
SWE-bench Multimodal 扩展了 SWE-bench，加入需要查看截图、UI 渲染结果或设计稿才能修复的 bug。它是评测多模态 coding agent 的基准之一，也是少数在 2026 年仍被写进前沿模型系统卡的多模态工程评测——Anthropic 在 Claude Haiku 5.5 的 system card 里同时报告了它、SWE-bench Pro 与 SWE-bench Multilingual。
它的价值在于切断了一条捷径。纯代码基准上，模型可以靠读代码、猜命名、套模式来蒙对一部分；而当 bug 的表现是”这个按钮渲染错位了""这个图表画错了”，不看图就无从下手。
构建方式
在 SWE-bench 的流程上叠加视觉条件：
- 任务附带截图、UI 渲染结果或设计稿，且这些视觉信息是定位 bug 的必要条件
- 模型仍需产出可应用的补丁
- 补丁由仓库自带测试判定——视觉信息只作为输入条件，不作为评分依据
第三点很关键：它的评分仍然是确定性的测试通过与否，没有引入 LLM judge 或视觉相似度评分。这一点让它比同期许多”多模态”评测更干净。
关键发现
一、2024 年的基线早已被跨过，但远未饱和
本卡此前的 topResults 停在 2024 年 10 月（Claude 3.5 Sonnet 14.2%、GPT-4o 12.8%）。2026 年 10 月 Anthropic 的 Haiku 5.5 system card 一次性给出了三条新值：Sonnet 5.5 54.3%、Haiku 5.5 30.7%、Haiku 4.5 19.8%。
两年时间头名从 14.2% 推到 54.3%，涨了 40 个百分点。但 54.3% 意味着仍有近一半任务无法解决，这个基准还远没有到 SWE-bench Verified 那种”头部压缩在 3 个百分点内”的饱和状态。
二、小模型与中端模型的差距在这里被放大
同一批 Haiku 5.5 数据里，可以看到一个值得注意的模式：
| 基准 | Haiku 5.5 | Sonnet 5.5 | 差距 |
|---|---|---|---|
| SWE-bench Multimodal | 30.7% | 54.3% | 23.6pp |
| SWE-bench Multilingual | 83.7% | 90.3% | 6.6pp |
| SWE-bench Pro | 64.8% | 81.3% | 16.5pp |
多模态任务的档位差距（23.6pp）比纯代码任务（6.6pp）大 3.6 倍。也就是说，视觉理解这一层能力的规模规律与纯代码能力不同——它对模型档位更敏感，小模型补不上。
对照 Haiku 4.5 的 19.8%，Haiku 5.5 一代涨了 10.9pp，但这 10.9pp 只填平了与 Sonnet 5.5 之间 23.6pp 差距的不到一半。
三、本卡只有厂商自报这一个 lane
⚠️ 目前所有 2026 年的数值都来自 Anthropic 的 Haiku 5.5 system card，没有独立的第三方复现。而这份表的对照组是 Anthropic 自家模型（Haiku 4.5、Sonnet 5.5），不含 OpenAI、Google 或其他厂商的模型。
引用这些数字时请记住两件事：它是厂商自选模型集合的一次横切面，不是排行榜；以及 OpenAI、Google 近年普遍不公布 SWE-bench Multimodal 成绩，所以”Anthropic 领先”这个结论目前无法证伪也无法证实。
如何读这份榜单
- topResults 按 Resolved Rate 降序。前三条为 2026 年 Anthropic system card 口径，后两条为 2024 年基线，两代数字并排不代表连续曲线（中间两年的分数本库没有抓到）。
- 后两条保留的理由是它们长期是本卡唯一的内容，直接删除会丢失”这个基准起点有多低”这个信息。读的时候把它们当作时间切片。
- 卡内
paper字段原为占位符arXiv:2410.XXXXX，回源未确认，已移除，待核实后回填——不要把它当真实编号引用。
不足与展望
- 617 个任务分布在少数几个前端/Web 类仓库上，领域覆盖偏窄
- 视觉输入的形式（截图、渲染结果、设计稿）在任务间不统一，跨任务的难度可比性有限
- 目前只有厂商自报数据，缺独立评测 lane
- 随着前端框架与 UI 生成能力快速演进，2024 年采集的截图可能与当前技术栈脱节