为什么重要
GLUE 是现代 NLU 评测体系的开创者。它将情感分析（SST-2）、自然语言推断（MNLI/RTE/QNLI）、语义相似度（STS-B/MRPC/QQP）、语法判断（CoLA）和 Winograd 消歧（WNLI）统一到一个排行榜，直接推动了 BERT 等预训练模型的突破。虽已被 SuperGLUE 取代，但其框架定义了后续所有 NLU benchmark 的范式。
构建方式
9 项子任务分别来自已有数据集的重新组织：SST-2（电影评论）、MNLI（众包假设）、QQP（Quora 问题对）、QNLI（SQuAD 转化）、STS-B（语义相似度）、MRPC（新闻释义）、RTE（文本蕴含合集）、CoLA（语言可接受性）、WNLI（Winograd 消歧）。
任务示例
- MNLI：前提 “The cat sat on the mat” → 假设 “There is an animal on a surface” → 标签：Entailment
- CoLA：句子 “The child seems sleeping” → 标签：Unacceptable
- SST-2：文本 “A beautifully crafted film” → 标签：Positive
关键发现
- BERT（2018）首次超越人类单任务水平，引爆预训练范式
- 人类基线在 87.1 左右，2020 年后模型普遍超过 90
- 排行榜饱和促使社区转向 SuperGLUE 和更难的挑战
关联基准
SuperGLUE（升级版）、MMLU（知识覆盖更广）、BIG-Bench（规模更大）
不足与展望
任务已完全饱和，无法区分现代大模型。但其设计理念（多任务聚合 + 统一排行榜）持续影响后续 benchmark 设计。