为什么重要
SNLI 是第一个大规模人工标注的 NLI 数据集，直接催生了深度学习在 NLI 上的研究爆发。几乎所有后续 NLI 基准（MNLI、ANLI 等）都建立在 SNLI 奠定的范式之上。
评测设计
基于 Flickr30K 图像描述生成的前提句，人工编写蕴含/矛盾/中性假设。三分类任务。
主要发现
- 开启了神经网络做 NLI 的时代
- 存在标注偏差（annotation artifacts），可被浅层模型利用
- 作为预训练中间任务（intermediate task）广泛使用
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
SNLI
570K 人工标注句子对，自然语言推理领域的奠基性数据集
Stanford University ·
考察能力
自然语言推理 文本蕴含 语义理解
构建信息
- 数据规模
- 570K 句子对
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
93.5%
🥈 DeBERTa-v3
93.1%
NLI 文本蕴含 经典基准 大规模 里程碑