为什么重要
GLUE (2018) 和 SuperGLUE (2019) 定义了预训练语言模型时代的评测标准。几乎所有 BERT 时代的论文都报告 GLUE/SuperGLUE 分数。SuperGLUE 包含 BoolQ、CB、COPA、MultiRC、ReCoRD、RTE、WiC、WSC 八个任务，至今仍被引用。
构建方式
- 从已有 NLU 数据集中精选任务
- 统一格式和评测方式
- 设立公开排行榜推动竞争
任务示例
BoolQ：“Is the sun a star?” → Yes/No RTE：前提和假设的文本蕴含判断 WiC：同一单词在两个句子中含义是否相同
关键发现
- BERT 发布后 GLUE 迅速被超越，催生 SuperGLUE
- SuperGLUE 在 2020-2021 年被超越
- 推动了 NLU 到 NLG 的范式转变
关联基准
- MMLU：SuperGLUE 之后的综合基准
- Open LLM Leaderboard：继任综合排行
- MT-Bench：对话能力评测
不足与展望
- 已完全饱和（superseded）
- 但其设计理念（多任务综合评测）影响了后续所有基准
- 历史意义大于现实意义