为什么重要
MTPB 模拟真实编程中的多轮增量开发：先写基础函数，再逐步扩展功能。测试模型理解上下文并持续构建代码的能力。
返回评测
代码生成 代码-编辑重构 未饱和
模态 · 代码
任务 · 代码生成
MTPB
评测 LLM 在多轮交互中逐步完成编程任务的能力
Salesforce ·
考察能力
多轮编程 增量开发 上下文理解
构建信息
- 数据规模
- 115 任务
- 评测方式
- 执行评测
- 核心指标
- pass@1
资源链接
模型效果排行
🥇 GPT-4o
82%
🥈 CodeGen
65%
多轮编程 增量开发 代码生成