为什么重要
MNLI 是 GLUE 基准中规模最大的子任务,涵盖口语、小说、政府报告等 10 个领域的文本蕴含判断。它定义了 NLI 任务的标准评测范式,几乎所有预训练模型都在此基准上报告成绩。
评测设计
给定前提-假设句子对,判断关系为蕴含(entailment)、矛盾(contradiction)或中性(neutral)。设有 matched(同分布)和 mismatched(跨分布)两个测试集。
主要发现
- 预训练模型在 NLI 上取得巨大突破,从 ESIM 的 76% 到 DeBERTa 的 91%+
- 领域迁移(mismatched)仍比 matched 低 1-2%
- LLM 时代此任务已接近天花板