为什么重要
WNLI 是 GLUE 基准中最难的子任务之一，将 Winograd Schema Challenge 转化为自然语言推理形式。因其小规模和高难度，曾是预训练模型的难关。
评测设计
给定两个句子（前提和假设），判断假设是否可以从前提中推出。核心挑战在于代词的正确消解需要常识推理。
主要发现
- 早期 BERT 在 WNLI 上表现不佳（低于随机基线）
- 需要专门的共指消解策略才能取得好成绩
- 大模型时代此任务已被充分解决
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
WNLI
基于 Winograd Schema Challenge 的自然语言推理任务，GLUE 子集
New York University ·
考察能力
共指消解 自然语言推理 常识理解
构建信息
- 数据规模
- 852 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
96.2%
🥈 DeBERTa-v3
95.5%
NLI 共指消解 GLUE 经典基准