为什么重要
现有代码评测基准几乎全部聚焦于输出正确性（代码能否通过测试），却忽略了推理过程本身的质量。一个模型可能通过试错得到正确答案，但推理链完全错误。CodeRQ-Bench 是首个系统评估 LLM 在编码任务中推理质量的基准，将评测视角从”结果对不对”推进到”想法对不对”。
核心设计
CodeRQ-Bench 覆盖代码生成、代码摘要和代码分类三大编码任务类别，包含 4 个数据集。研究团队深入分析了 1069 个现有评估器的不匹配案例，识别出 5 种反复出现的评估局限，并提炼出 4 条针对编码推理评估的设计洞察。基于这些发现，提出了 VERA 评估器，采用证据锚定验证和歧义感知评分校正两阶段方法。
关键发现
VERA 在 CodeRQ-Bench 的 4 个数据集上一致性超越强基线方法，AUCROC 提升最高达 0.26，AUPRC 提升最高达 0.21。分析表明现有推理评估器并非为编码任务设计，存在显著局限——这解释了为什么当前代码评测中”高分但推理错误”的现象普遍存在。