返回评测
推理 组合泛化 接近饱和 模态 · 文本 任务 · 开放生成

SCAN

测试神经网络从简单命令到复杂命令的组合泛化

New York University ·

考察能力

组合泛化 指令理解 系统性

构建信息

数据规模
20K+ 命令
评测方式
标准评测
核心指标
Accuracy

模型效果排行

🥇 GPT-4o
99%+
🥈 T5
95%+

为什么重要

SCAN 是组合泛化(compositional generalization)研究的奠基基准。通过简单导航命令(如 walk/jump/turn)的组合,测试模型能否从简单规则泛化到复杂组合。

评测设计

自然语言命令 → 动作序列翻译。分多个泛化测试集(如 add_jump、length split、template split)。

组合泛化 系统性 指令遵循 经典基准