CRUXEval-X

为什么重要

CRUXEval 原版测试 Python 代码推理，CRUXEval-X 扩展到 19 种编程语言，揭示了 LLM 在不同语言上代码理解能力的巨大差异。

构建方式

1. 基于 CRUXEval 的 Python 代码片段
2. 翻译为 18 种其他编程语言
3. 两个任务：给定输入预测输出（Output）、给定输出预测输入（Input）

任务示例

代码（Python）：

def f(s): return s[::-1] + s

Input task：“Given output ‘abccba’, what was the input?” Output task：“Given input ‘abc’, what is the output?”

关键发现

• Python 和 JavaScript 表现最好
• Rust、Haskell 等语言准确率低 20+%
• Input 预测普遍比 Output 预测更难

关联基准

• CRUXEval：Python 原版
• MultiPL-E：多语言代码生成
• HumanEval：代码生成

不足与展望

• 代码片段较短（函数级）
• 翻译代码可能不符合各语言惯用法
• 但跨语言对比数据有价值