为什么重要
将 HumanEval 和 MBPP 翻译为 22 种编程语言，测试模型的多语言代码生成能力。
构建方式与示例
22 种语言：Python/Java/JS/TS/C++/Rust/Go/Ruby/Perl 等。同一题目在不同语言上评测。
关联基准与展望
关联：HumanEval、Aider Polyglot。不足：翻译可能引入 bug。
返回评测
代码生成 代码-函数级 未饱和
模态 · 代码
任务 · 代码生成
MultiPL-E
将 HumanEval/MBPP 翻译到 18 种编程语言，评估跨语言代码生成能力
Northeastern University ·
考察能力
多语言代码 Python Rust C++ Java Go TypeScript
构建信息
- 数据规模
- ~3,000 problems / 18 languages
- 评测方式
- 标准评测
- 核心指标
- pass@1 (%)
资源链接
模型效果排行
🥇 GPT-5
82.4% avg
🥈 Claude Opus 4
79.1% avg
代码生成 多语言 跨语言