为什么重要
CommonsenseQA 基于 ConceptNet 知识图谱自动生成干扰项，确保需要常识知识才能作答。是常识推理评测的标杆基准。
评测设计
五选一多选题，每题的五个选项与同一 ConceptNet 关系相关，需要区分微妙的常识差异。
返回评测
推理 常识推理 未饱和
模态 · 文本
任务 · 选择 / 判断
CSQA
基于 ConceptNet 的常识推理多选题基准
Tel Aviv University ·
考察能力
常识推理 概念关系 多选推理
构建信息
- 数据规模
- 12,247 题
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
85.3%
🥈 Claude 3.5 Sonnet
83.7%
常识推理 ConceptNet 多选题 经典基准