为什么重要
评估 LLM 在需求分析→架构设计→实现→测试全流程中的能力，揭示架构设计是最大短板。
构建方式与示例
22 个完整软件项目。例如：“给定需求文档，设计并实现一个在线投票系统。“
关联基准与展望
关联：SWE-bench、ChatDev Eval。不足：项目规模偏小。
返回评测
Agent Agent-编码 未饱和
模态 · 代码
任务 · 执行验证
DevBench
评估 LLM 在需求分析、架构设计、实现、测试全流程中的能力
Tsinghua & Microsoft ·
考察能力
需求分析 架构设计 代码实现 测试编写
构建信息
- 数据规模
- 22 个完整软件项目
- 构建方式
- 专家设计真实项目
- 评测方式
- 代码质量 + 测试通过 + 架构评审
- 核心指标
- 多维度评分
模型效果排行
🥇 GPT-4
~40% 加权平均 2024-03
软件工程 全流程 Agent