返回评测
推理 逻辑推理 接近饱和 模态 · 文本 任务 · 选择 / 判断

BBH (BIG-Bench Hard)

BIG-Bench Hard 从 204 个 BIG-Bench 任务中筛选出 23 个 LLM 表现差于人类的难题

Google ·

考察能力

逻辑推理 因果推理 算法推理 自然语言理解

构建信息

数据规模
23 tasks / 6,511 examples
评测方式
标准评测
核心指标
Accuracy (%)

模型效果排行

🥇 GPT-5
95.1%
🥈 Claude Opus 4
92.8%
🥉 GPT-4o
83.6%

为什么重要

BBH(BIG-Bench Hard)从 200+ 个 BIG-Bench 任务中筛选出 23 个 LLM 做不好的难任务。被 HF Open LLM Leaderboard v2 采用。

构建方式与示例

23 个任务类型:逻辑推演、日期理解、因果推理等。例如:“如果 A 比 B 高,B 比 C 高,C 比 D 矮。谁最高?“

关联基准与展望

关联:MMLU-Pro、DROP。部分任务区分度在下降。

推理 BIG-Bench CoT