为什么重要
ANLI 通过人类与模型的对抗循环（human-in-the-loop）收集数据：人类专门找能骗过当前最强模型的样本。三轮（R1-R3）难度递增，R3 至今仍是 NLI 领域的硬挑战。
评测设计
三轮对抗收集，每轮基于上一轮最强模型。R1 基于 BERT，R2 基于 RoBERTa，R3 基于 ANLI-R2 最优模型。
主要发现
- R3 准确率远低于人类水平（~91%），是检测模型推理能力的有效探针
- 数据增强和对抗训练对提升 R3 效果有限
- 大模型在 R3 上仍有显著提升空间
返回评测
综合 综合-语义匹配 未饱和
模态 · 文本
任务 · 分类
ANLI
通过人-模型对抗收集的高难度 NLI 基准，三轮递增难度
Facebook AI / UNC ·
考察能力
对抗推理 自然语言推理 鲁棒性
构建信息
- 数据规模
- 163K 句子对
- 评测方式
- 标准评测
- 核心指标
- Accuracy (R1 / R2 / R3)
资源链接
模型效果排行
🥇 GPT-4o
72.4% (R3)
🥈 Claude 3.5 Sonnet
70.1% (R3)
NLI 对抗评测 鲁棒性 高难度