为什么重要
PAWS 专门构造高字面重叠但语义不同的句子对（如词序调换），暴露依赖词袋特征的模型弱点。是释义检测的鲁棒性标杆。
评测设计
通过词序交换和回译等方法，构造看起来相似但含义不同的句子对。在 QQP 上训练的模型在 PAWS 上表现大幅下降。
返回评测
综合 综合-语义匹配 接近饱和
模态 · 文本
任务 · 分类
PAWS
高字面重叠但语义不同的释义检测对抗基准
Google Research ·
考察能力
释义检测 对抗鲁棒性 精细语义区分
构建信息
- 数据规模
- 108K 句子对
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
95.1%
🥈 DeBERTa-v3
94.3%
释义检测 对抗评测 鲁棒性 语义