为什么重要
ReClor 将 GMAT 和 LSAT 考试中的逻辑推理题目引入 NLP 评测。这些题目要求分析论证结构、识别假设、发现推理漏洞——这正是 LLM 最薄弱的高阶推理能力。
构建方式
从公开的 GMAT 和 LSAT 备考材料中收集逻辑推理题。每题包含一段论述和四个选项，题型包括假设识别、加强/削弱论证、推理评估等。
任务示例
- 论述：“所有参加会议的人都投了票。有些投票的人后来改变了主意。”
- 问题：“以下哪项必然为真？”
- 选项中考察对量词和逻辑关系的精确理解
关键发现
- BERT 时代模型在该基准上仅略高于随机（~30%）
- 即使 GPT-4 也明显低于 LSAT 满分考生
- 很多错误源于对”充分条件”和”必要条件”的混淆
关联基准
LogiQA（中文逻辑推理）、FOLIO（一阶逻辑）、BBH（综合推理）
不足与展望
数据量有限，领域局限于法律/商业考试场景。需要扩展到更多推理类型。