为什么重要
WiC（Word-in-Context）测试模型对多义词的上下文理解。给定同一个词在两个句子中出现，判断含义是否一致。是 SuperGLUE 中仍有提升空间的任务之一。
评测设计
二分类任务，目标词在两个句子中出现，判断语义是否相同。基于 WordNet 和 Wiktionary 构建。
返回评测
综合 综合-语义匹配 未饱和
模态 · 文本
任务 · 分类
WiC
SuperGLUE 子任务，判断同一词在两个上下文中含义是否相同
Cardiff University / Cambridge ·
考察能力
词义消歧 上下文理解 语义精细区分
构建信息
- 数据规模
- 5,428 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
78.5%
🥈 Claude 3.5 Sonnet
76.2%
词义消歧 SuperGLUE 经典基准 语义