为什么重要
MuSiQue 通过组合构建方法保证每道多跳题都”不可跳步”——将单跳 QA 组合为 2-4 跳题，并验证去掉任何一步都无法回答。这比 HotpotQA 更严格地评测真正的多步推理，避免了”恰好猜到答案”的情况。
构建方式
从 SQuAD、HotpotQA、StrategyQA 等数据集中抽取单跳 QA，按桥接关系组合成多跳问题。通过人工验证”可分解性”（逐步回答）和”不可跳步性”（缺一步不行）。
任务示例
- 4-hop: “What is the population of the country where the director of ‘Parasite’ was born?”
- Hop 1: Parasite 导演是 Bong Joon-ho
- Hop 2: Bong Joon-ho 出生在韩国
- Hop 3: 韩国首都是首尔（可能是干扰步）
- Hop 4: 韩国人口约 5,178 万
关键发现
- 4-hop 问题的 F1 比 2-hop 低约 25%
- 即使 GPT-4 在 4-hop 上也只有 ~50% F1
- “不可跳步”验证使基准比 HotpotQA 更难
关联基准
HotpotQA（2-hop）、StrategyQA（隐式多步）、FRAMES（多文档）
不足与展望
组合构建的问题可能不够自然。长推理链中的错误归因仍是开放问题。