为什么重要
CLUTRR 是测试 LLM 系统化组合推理能力的经典探针。模型需要在训练时见过的短链（如 k=2,3）上学习关系规则，然后泛化到更长的链（k=5,6+）。这直接检验了 LLM 是否真正学会了组合推理而非记忆模式。
构建方式
- 生成家庭关系图（不同深度）
- 用自然语言叙事描述关系链
- 要求推理未直接陈述的关系（如”A 是 B 的母亲，B 是 C 的父亲，A 和 C 是什么关系？“）
任务示例
故事：“Alice went shopping with her daughter Betty. Betty later picked up her son Charlie from school.” 问题：“What is the relationship between Alice and Charlie?” 答案：“grandmother”
关键发现
- LLM 在短链（k≤3）上表现良好
- 随着链长增加，准确率快速下降
- 揭示了 LLM 在系统泛化上的根本局限
关联基准
- BBH：推理能力合集
- StrategyQA：隐式多步推理
- MuSR：多步软推理
不足与展望
- 任务相对狭窄（仅限亲属关系）
- 不涵盖其他类型的组合推理
- 但作为系统泛化探针价值持久