为什么重要
MBPP（Mostly Basic Python Problems）是 HumanEval 的补充——974 道基础 Python 编程题。
构建方式与示例
众包设计 974 道 Python 题，每题有 3 个自动化测试。例如：“写一个函数判断一个数是否为阿姆斯特朗数。“
返回评测
代码生成 代码-函数级 已饱和
模态 · 代码
任务 · 代码生成
MBPP
974 道入门级 Python 编程任务，与 HumanEval 互补的代码生成基准
Google ·
考察能力
Python编程 基础算法 字符串处理 列表操作
构建信息
- 数据规模
- 974 problems (sanitized: 427)
- 评测方式
- 标准评测
- 核心指标
- pass@1 (%)
资源链接
模型效果排行
🥇 GPT-5
91.8%
🥈 Claude Opus 4
89.3%
🥉 DeepSeek V3
84.1%
代码生成 Python 基础编程 已饱和