为什么重要
MRPC 是最早的释义检测基准之一，从新闻文本中自动提取句子对并人工标注。作为 GLUE 子任务持续服役。
评测设计
从新闻源自动抽取可能的释义句子对，人工判断是否语义等价。正类比例约 68%。
主要发现
- 规模小，容易过拟合
- 作为预训练模型快速评测仍有价值
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
MRPC
5.8K 句子对的释义检测基准，GLUE 子任务
Microsoft Research ·
考察能力
释义检测 语义等价判断
构建信息
- 数据规模
- 5,801 句子对
- 评测方式
- 标准评测
- 核心指标
- F1 / Accuracy
资源链接
模型效果排行
🥇 GPT-4o
93.2 F1
🥈 DeBERTa-v3
92.8 F1
释义检测 GLUE 经典基准 NLU