为什么重要
CRUXEval 测的不是”写代码”而是”理解代码”——给一段代码和输入,预测输出。或者给输出,推断输入。
构建方式与示例
800 道 Python 代码理解题。例如:“函数 f(x) = x[::-1] + x[0],输入 ‘abc’,输出是什么?” → “cbaa”
800 道 Python 函数的输入/输出推理题,测试模型是否真正理解代码而非模式匹配
CRUXEval 测的不是”写代码”而是”理解代码”——给一段代码和输入,预测输出。或者给输出,推断输入。
800 道 Python 代码理解题。例如:“函数 f(x) = x[::-1] + x[0],输入 ‘abc’,输出是什么?” → “cbaa”