返回评测
综合 综合-语义匹配 已饱和 模态 · 文本 任务 · 分类

QQP

判断两个 Quora 问题是否语义等价,GLUE 子任务

Quora ·

考察能力

语义相似度 文本匹配 释义检测

构建信息

数据规模
400K 问题对
评测方式
标准评测
核心指标
F1 / Accuracy

模型效果排行

🥇 GPT-4o
92.8 F1
🥈 DeBERTa-v3
92.4 F1

为什么重要

QQP 是大规模释义检测(paraphrase detection)的标准基准。判断两个问题是否表达相同意图是搜索、问答系统的核心能力。

评测设计

400K+ Quora 问题对,标注为重复/非重复。类不平衡(约 37% 重复),因此用 F1 而非纯准确率评测。

主要发现

  • 字面重叠是强基线,但语义理解显著提升表现
  • 存在标注噪声,影响上限估计
  • LLM 时代已接近天花板
语义相似度 释义检测 GLUE 经典基准