StrategyQA

为什么重要

StrategyQA 的问题表面简单，但需要将问题分解为多个子步骤并组合不同领域的知识才能回答。它是评估”隐式推理链”能力的经典基准，推动了 Chain-of-Thought prompting 的研究。

构建方式

1. 众包设计需要多步推理的 Yes/No 问题
2. 同时标注推理策略（分解步骤）和每步所需的证据段落
3. 问题设计原则：答案不能从单一事实直接得出

任务示例

问题：“Did Aristotle use a laptop?” 推理链：Aristotle lived 384-322 BC → Laptops were invented in 1980s → No

关键发现

• CoT prompting 大幅提升表现
• 推理步骤越多，模型准确率越低
• 前沿模型已接近人类水平

关联基准

• BBH：挑战性推理任务集
• MuSR：多步软推理
• DROP：离散推理

不足与展望

• Yes/No 二分类限制了评估粒度
• 部分问题可通过捷径回答
• 前沿模型接近饱和