为什么重要
PIQA 测试模型对物理世界的直觉理解——这是人类毫不费力但 AI 长期薄弱的能力。它是 Open LLM Leaderboard v1 的核心评测之一。
构建方式
- 众包收集”如何实现某个物理目标”的问题
- 每个问题两个解决方案，一个合理一个不合理
- 答案需要物理直觉而非纯逻辑
任务示例
目标：“如何把一块冰从冰箱搬到客厅且不弄湿地板？” 选项 A：“把冰放在塑料袋里再端过去” ✓ 选项 B：“把冰放在报纸里再端过去”
关键发现
- 大模型已基本饱和（>95%）
- 小模型仍有明显差距
- 物理直觉比逻辑推理更难通过 scaling 获得
关联基准
- HellaSwag：常识句子补全
- WinoGrande：代词消歧
- ARC-Challenge：科学常识
不足与展望
- 二选一形式简单，区分度低
- 前沿模型已饱和
- 不涉及复杂的多步物理推理