为什么重要
CB 通过判断嵌入从句（如「他声称地球是平的」中「地球是平的」）的真实承诺度来评测语用推理能力。是 SuperGLUE 中最精巧的任务之一。
评测设计
三分类（蕴含/矛盾/中性），极小规模（250 样本），测试 few-shot 学习能力。
返回评测
综合 综合-语义匹配 已饱和
模态 · 文本
任务 · 分类
CB
SuperGLUE 子任务，判断嵌入从句的作者承诺度
DeMarneffe et al. ·
考察能力
语用推理 蕴含判断 承诺度分析
构建信息
- 数据规模
- 250 样本
- 评测方式
- 标准评测
- 核心指标
- Accuracy / F1
资源链接
模型效果排行
🥇 GPT-4o
96.4%
🥈 Claude 3.5 Sonnet
94.6%
NLI SuperGLUE 语用推理 小规模