FeatureBench 是 ICLR 2026 发表的编码 Agent 基准，专注于评估端到端、功能导向的复杂软件开发能力。与 SWE-bench 等关注 bug 修复的基准不同，FeatureBench 要求智能体完成跨越多个提交和 PR 的功能级编码任务。
基准从 24 个开源仓库中构建了 200 个挑战性任务和 3825 个可执行环境，采用测试驱动方法沿依赖图追踪单元测试来自动派生任务，最小化人工干预。结果极具冲击力：Claude 4.5 Opus 在 SWE-bench 上的解决率为 74.4%，但在 FeatureBench 上仅为 11.0%——暴露了当前编码智能体在从 bug 修复扩展到功能开发时的巨大能力差距。内置的自动化任务收集工具包支持基准随时间更新以对抗数据泄露。
为什么重要
FeatureBench 揭示了一个关键事实：能修 bug ≠ 能交付 feature。在 SWE-bench 等以 bug-fixing 为核心的基准上，前沿模型的能力已趋于收敛（多个模型超过 70%），但在 feature 级端到端开发上，差距被显著放大。FeatureBench 的任务平均涉及 790.2 行代码修改（远超 SWE-bench 的约 30 行），并配有规范的接口签名以消除歧义，更贴近真实开发场景。
构建方式
- 以仓库中的单元测试为切入点，沿依赖图反向追踪，识别跨越多个 commit 和 PR 的功能级任务
- 确保任务分离后系统中其他功能仍能正常运行（P2P 约束）
- 从 24 个开源代码仓库构建 200 个任务 + 3825 个可执行环境
- 提供自动化任务收集工具包，支持便捷扩展与持续更新
- 提供 FeatureBench Lite（30 条任务子集）用于低成本快速评测
关键发现
- Bug-fixing vs Feature 开发的 63 点差距：Claude 4.5 Opus 在 SWE-bench 上 74.4%，FeatureBench 仅 11.0%
- 高区分度：在 SWE-bench 上表现接近的模型，在 FeatureBench 上差距被显著放大
- 跨文件/跨对象长程依赖是核心瓶颈：feature 开发要求理解整个代码库的架构并做全局规划
- P2P 约束验证：不只检查新功能是否通过，还验证原有功能是否被破坏
- 可扩展性：自动化框架支持持续增加新任务，降低数据泄露风险
最新进展
- 2026-05：FeatureBench 评测结果持续更新，多个 Agent 框架（OpenHands、Codex、Gemini-CLI、Claude Code）和模型配置已完成评测
- 2026-05：不同模型在 feature 级开发上表现分化明显，Qwen-3-Coder 和 DeepSeek-V3.2 等在 feature 任务上的解决率远低于 bug-fixing 任务
- 2026-02：ICLR 2026 论文正式发表，FeatureBench 成为 feature-level coding 评估的标准参考
- 关键趋势：agentic coding 评测从 bug-fixing 向 feature-delivery 转变，FeatureBench 填补关键空白