为什么重要
CoLA 测试模型对英语语法可接受性的判断能力，涉及深层句法现象（如长距离依赖、岛屿约束等）。是 GLUE 中衡量语言能力的核心子任务。
评测设计
句子来自语言学文献，标注为语法可接受/不可接受。使用 MCC（Matthews Correlation）而非准确率，因为类别不平衡。
主要发现
- 预训练模型在 CoLA 上的突破证明了深层语法知识可从原始文本中习得
- 某些语言学现象仍然困难（如量词辖域、控制结构）
返回评测
综合 综合-通用能力 已饱和
模态 · 文本
任务 · 混合题型
CoLA
判断英语句子是否语法可接受，GLUE 子任务
New York University ·
考察能力
语法判断 语言可接受性 句法理解
构建信息
- 数据规模
- 10,657 句子
- 评测方式
- 标准评测
- 核心指标
- Matthews Correlation Coefficient (MCC)
资源链接
模型效果排行
🥇 GPT-4o
0.89 MCC
🥈 DeBERTa-v3
0.87 MCC
语法 语言能力 GLUE 经典基准