为什么重要
与 SWE-bench 聚焦 bug 修复不同，DevAI 测试从头开始构建软件的能力。任务来自真实项目需求，涵盖 Web 应用、CLI 工具、数据处理等多种类型。
构建方式
- 收集 365 个真实软件项目需求描述
- 按复杂度和领域分类
- 定义需求满足度评判标准
任务示例
需求：“Build a to-do list web application with user authentication, task categories, and deadline reminders.” 评测：检查各项功能需求是否实现
关键发现
- 从需求到实现的转化率极低（<30%）
- 系统设计和模块划分是主要瓶颈
- 简单 CRUD 应用成功率较高，复杂系统急剧下降
关联基准
- SWE-bench：issue 修复
- DevBench：软件开发
- ProjDevBench：项目开发
不足与展望
- 评测标准相对主观
- 需求描述的详细程度不一
- 但全流程评测方向有前瞻性