为什么重要
GLUE-X 测试模型在 GLUE 训练分布之外的泛化能力。发现即使是高分模型在 OOD 数据上也会大幅退化，揭示了 NLU 鲁棒性的根本问题。
返回评测
综合 综合-鲁棒性 未饱和
模态 · 文本
任务 · 选择 / 判断
GLUE-X
评测 NLU 模型在分布外数据上的鲁棒性
Multiple ·
考察能力
分布外泛化 鲁棒性 NLU 鲁棒
构建信息
- 数据规模
- GLUE 变体
- 评测方式
- 标准评测
- 核心指标
- Accuracy (OOD)
资源链接
模型效果排行
🥇 GPT-4o
varies
🥈 DeBERTa-v3
varies
鲁棒性 OOD GLUE 泛化