RedirectQA是一个专门设计用于研究大型语言模型中非逐字记忆的基准测试，特别关注实体表面形式对事实记忆的影响。该基准测试解决了传统实体问答评估中每个实体只使用单一规范表面形式的局限性。
核心设计理念是利用维基百科重定向信息，将Wikidata事实三元组与分类的表面形式关联起来，包括替代名称、缩写、拼写变体和常见错误形式。通过这种方式，基准测试能够分离事实记忆和通过特定名称访问知识的能力。
关键发现表明，预测结果经常在仅改变实体表面形式时发生变化，这种不一致性是类别依赖的：模型对次要拼写变体比别名和缩写等更大的词汇变体更鲁棒。频率分析进一步表明，实体级和表面级频率都与准确性相关，实体频率通常比表面频率贡献更大。
总体而言，事实记忆既不是纯粹表面特定的，也不是完全表面不变的，这凸显了在评估非逐字记忆时表面形式多样性的重要性。RedirectQA为理解语言模型如何记忆和检索事实知识提供了更细粒度的评估框架。