为什么重要
Social IQa 专注于社会智能维度，测试模型对人际互动中动机、情感反应和后续行为的推理能力。这是评测模型”Theory of Mind”能力的重要基准。
构建方式
- 众包标注者编写社交场景
- 围绕三类问题：动机（Why）、情感反应（How feel）、后续行动（What next）
- 三选一格式
任务示例
场景：“Casey helped their friend move into a new apartment.” 问题：“How would Casey’s friend likely feel afterwards?” 选项：A) grateful B) annoyed C) indifferent
关键发现
- 模型在情感推理上的表现持续提升
- 但在复杂社交博弈场景仍有不足
- 是 Theory of Mind 评测的早期代表
关联基准
- BBQ：社会偏见检测
- EQ-Bench：情感智力
- CommonsenseQA：常识推理
不足与展望
- 三选一格式较简单
- 社交场景较表面，缺乏复杂博弈
- 文化偏向英语社交规范