为什么重要
LogiQA 是少数来自真实高难度逻辑考试的基准，测试演绎推理、条件推理、类比推理等多种逻辑能力。LogiQA 2.0 提供中英双语版本，可用于跨语言一致性评测。
构建方式
- 收集中国国家公务员考试（国考）逻辑推理真题
- 专业翻译为英文
- 按推理类型分类标注
任务示例
题目：“所有成功人士都勤奋。有些勤奋的人不成功。以下哪项一定为真？” 选项：四选一逻辑推理
关键发现
- 即便前沿模型准确率也在 75-80%，远未饱和
- 条件推理和反事实推理是主要失败模式
- 中英版本得分差异可揭示语言偏差
关联基准
- BBH：BIG-Bench Hard 推理子集
- ZebraLogic：约束满足推理
- AGIEval：人类考试合集
不足与展望
- 题目风格偏中国考试，可能不代表全球逻辑推理需求
- 部分题目翻译后失去文化语境
- 但正因未饱和，仍有很好的区分度