为什么重要
评估多 Agent 角色协作（CEO/CTO/程序员/测试员）完成软件开发的能力。
构建方式与示例
70 个软件需求，多 Agent 角色分工完成。例如：“开发一个贪吃蛇游戏”→ CEO 审需求 → CTO 定架构 → 程序员写代码 → 测试员验证。
关联基准与展望
关联：AgentBench、DevBench。不足：没有统一的多 Agent 评测标准。
返回评测
Agent Agent-多智能体 未饱和
模态 · 文本
任务 · 执行验证
ChatDev Eval
评估多个 Agent 角色协作完成软件开发任务（从需求到可运行代码）的能力
Tsinghua & OpenBMB ·
考察能力
多角色协作 软件开发 代码审查 测试
构建信息
- 数据规模
- 70 个软件需求
- 构建方式
- 人工设计需求描述
- 评测方式
- 代码可执行性 + 人工评估
- 核心指标
- Executability Rate (%)
模型效果排行
🥇 ChatDev (GPT-4)
~86% 可执行率 2023-07
Multi-Agent 软件开发 协作