为什么重要
BBH(BIG-Bench Hard)从 200+ 个 BIG-Bench 任务中筛选出 23 个 LLM 做不好的难任务。被 HF Open LLM Leaderboard v2 采用。
构建方式与示例
23 个任务类型:逻辑推演、日期理解、因果推理等。例如:“如果 A 比 B 高,B 比 C 高,C 比 D 矮。谁最高?“
BIG-Bench Hard 从 204 个 BIG-Bench 任务中筛选出 23 个 LLM 表现差于人类的难题
BBH(BIG-Bench Hard)从 200+ 个 BIG-Bench 任务中筛选出 23 个 LLM 做不好的难任务。被 HF Open LLM Leaderboard v2 采用。
23 个任务类型:逻辑推演、日期理解、因果推理等。例如:“如果 A 比 B 高,B 比 C 高,C 比 D 矮。谁最高?“