为什么重要
CommonsenseQA 是常识推理领域引用最高的基准之一，通过 ConceptNet 的关系边来构造干扰项，确保需要真正的常识推理而非表面匹配。
构建方式
- 从 ConceptNet 中采样概念节点
- 选取目标概念及其相关但不同的概念作为干扰项
- 众包标注者编写问题使正确答案唯一
任务示例
问题：“Where would you put your grapes just before checking out?” 选项：A) mouth B) move C) basket D) fruit salad E) grape juice
关键发现
- 基于知识图谱的干扰项设计有效提升了难度
- LLM 的常识推理已远超人类众包标注者
- 但在反直觉的边缘案例上仍有失误
关联基准
- PIQA：物理直觉推理
- StrategyQA：隐式多步推理
- HellaSwag：常识推理
不足与展望
- 五选一格式仍可被统计偏差利用
- 常识边界模糊，部分答案有争议
- 前沿模型接近饱和