返回评测
综合 综合-语义匹配 已饱和 模态 · 文本 任务 · 分类

MNLI

433K 句子对的多领域自然语言推理基准,GLUE 核心任务

New York University ·

考察能力

自然语言推理 文本蕴含 跨领域泛化

构建信息

数据规模
433K 句子对
评测方式
标准评测
核心指标
Accuracy (matched / mismatched)

模型效果排行

🥇 GPT-4o
92.8%
🥈 DeBERTa-v3-large
91.9%

为什么重要

MNLI 是 GLUE 基准中规模最大的子任务,涵盖口语、小说、政府报告等 10 个领域的文本蕴含判断。它定义了 NLI 任务的标准评测范式,几乎所有预训练模型都在此基准上报告成绩。

评测设计

给定前提-假设句子对,判断关系为蕴含(entailment)、矛盾(contradiction)或中性(neutral)。设有 matched(同分布)和 mismatched(跨分布)两个测试集。

主要发现

  • 预训练模型在 NLI 上取得巨大突破,从 ESIM 的 76% 到 DeBERTa 的 91%+
  • 领域迁移(mismatched)仍比 matched 低 1-2%
  • LLM 时代此任务已接近天花板
NLI 文本蕴含 GLUE 经典基准 大规模