为什么重要
纵横字谜是一种独特的推理任务，结合了知识广度、双关理解、字母约束满足等多种能力。它是 LLM 在非结构化创意推理上的有趣测试。
构建方式
- 收集 NYT 等高质量纵横字谜
- 格式化线索-网格对
- 评测单字母准确率和完整谜题完成率
任务示例
线索：“Web developer?” (3 letters) 答案：“SPI” (spider develops web)
关键发现
- LLM 在直接知识线索上表现好
- 双关和文字游戏类线索失败率高
- 交叉约束（字母共享）的利用能力弱
关联基准
- SimpleBench：直觉推理
- BBH：困难推理
- ZebraLogic：约束满足
不足与展望
- 高度英语特异
- 受众较窄
- 但作为创意推理评测有独特价值