HumanEval

为什么重要

代码生成评测的开山之作（Codex 论文配套）。164 道 Python 函数题。已饱和（95%+），EvalPlus 是其增强版。

构建方式与示例

每题给函数签名+docstring，模型生成函数体。例如：def is_palindrome(s: str) -> bool: """判断是否为回文"""

关联基准与展望

关联：EvalPlus、MBPP、BigCodeBench。已饱和。