为什么重要
ODEX 使用中/日/英等多种语言的自然语言描述作为 prompt，测试模型从多语言指令生成可执行 Python 代码的能力。
返回评测
代码生成 代码-函数级 未饱和
模态 · 代码
任务 · 代码生成
ODEX
评测 LLM 生成可执行代码的能力，覆盖多种自然语言
CMU ·
考察能力
代码生成 多语言 代码执行
构建信息
- 数据规模
- 945 样本
- 评测方式
- 执行评测
- 核心指标
- pass@1
资源链接
模型效果排行
🥇 GPT-4o
72.5%
🥈 Claude 3.5 Sonnet
68.3%
代码生成 多语言 代码执行