返回评测
代码生成 代码-理解 未饱和 模态 · 代码 任务 · 选择 / 判断

CRUXEval

800 道 Python 函数的输入/输出推理题,测试模型是否真正理解代码而非模式匹配

Meta (FAIR) ·

考察能力

代码理解 执行推理 输入预测 输出预测

构建信息

数据规模
800 tasks
评测方式
标准评测
核心指标
pass@1 (%)

模型效果排行

🥇 o3
89.2%
🥈 Claude Opus 4
82.4%
🥉 GPT-4o
74.8%

为什么重要

CRUXEval 测的不是”写代码”而是”理解代码”——给一段代码和输入,预测输出。或者给输出,推断输入。

构建方式与示例

800 道 Python 代码理解题。例如:“函数 f(x) = x[::-1] + x[0],输入 ‘abc’,输出是什么?” → “cbaa”

关联基准与展望

关联:HumanEval、EvalPlus。不足:代码片段偏短偏简单。

代码理解 推理 Python