为什么重要
RTE（Recognizing Textual Entailment）是文本蕴含领域的开创性系列挑战赛。合并后作为 GLUE 和 SuperGLUE 的共同子任务，是衡量模型推理能力的经典探针。
评测设计
给定前提和假设，判断是否存在蕴含关系（二分类）。数据来自多年 RTE 挑战赛的合并。
主要发现
- 小规模但难度较高，是 few-shot 评测的理想选择
- SuperGLUE 使用了相同数据但更严格的评估
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
RTE
GLUE/SuperGLUE 文本蕴含二分类任务
PASCAL / TAC ·
考察能力
文本蕴含 推理 语义理解
构建信息
- 数据规模
- 5,767 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
95.3%
🥈 DeBERTa-v3
93.6%
NLI 文本蕴含 GLUE SuperGLUE 经典基准