为什么重要
WSC（Winograd Schema Challenge）被提议为图灵测试的替代方案。通过设计巧妙的句子，使得代词消解必须依赖常识知识。曾被认为是 AI 的「圣杯」级任务。
评测设计
每个样本包含一个句子和目标代词，需判断代词指向哪个候选实体。对调一个词就会改变正确答案。
主要发现
- GPT-3 首次展示 few-shot 在 WSC 上的惊人能力
- 大模型时代已基本解决
- 变体 WinoGrande 更大规模更具挑战
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
WSC
SuperGLUE 子任务，代词共指消解的 Winograd Schema
University of Toronto ·
考察能力
共指消解 常识推理 代词消解
构建信息
- 数据规模
- 273 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy
模型效果排行
🥇 GPT-4o
96.7%
🥈 Claude 3.5 Sonnet
95.1%
共指消解 常识推理 SuperGLUE 图灵测试 经典基准