为什么重要
CriticBench 评测 LLM 作为「评审者」的能力：能否发现代码中的 bug、数学证明中的错误、文本中的事实错误等。对 RLHF、self-refinement 和 reward model 研究关键。
返回评测
数据 评测-框架 未饱和
模态 · 文本
任务 · 排序 / 偏好比较
CriticBench
评测 LLM 发现和纠正错误的能力
Tsinghua University ·
考察能力
错误发现 批评能力 自我纠正
构建信息
- 数据规模
- 3K+ 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
72.5%
🥈 Claude 3.5 Sonnet
70.3%
批评能力 错误发现 自我纠正 元认知