返回评测
Agent Agent-工具调用 接近饱和 模态 · 文本 任务 · 执行验证

BabyAI

网格世界中的指令跟随 Agent 评测,19 级递增难度

Mila / Université de Montréal ·

考察能力

指令跟随 导航 物体操作 课程学习

构建信息

数据规模
19 levels, unlimited generation
评测方式
任务完成率
核心指标
Success Rate / Sample Efficiency

模型效果排行

🥇 GPT-4 (ReAct)
85% (level 19)
🥈 Trained RL Agent
99% (with demos)

为什么重要

BabyAI 提供了一个可控的 Agent 评测平台——19 个难度递增的关卡,从简单导航到复合条件指令。课程设计使其成为研究 Agent 学习效率和泛化能力的理想环境。虽然是简化的网格世界,但其设计理念影响了后续更复杂的 Agent 基准。

构建方式

MiniGrid 引擎生成的 2D 网格世界。指令用结构化语言描述。19 级难度通过组合更多的条件、物体和空间约束实现。环境可无限生成新实例。

任务示例

  • Level 1: “go to the red ball”
  • Level 10: “pick up a blue key, then open the yellow door”
  • Level 19: “put the green ball next to the purple box after going to the red door”

关键发现

  • 样本效率是关键度量——强化学习 Agent 需要大量交互
  • LLM Agent 在高级别任务上的零样本表现令人惊讶
  • 组合泛化(从简单指令泛化到复合指令)仍是挑战

关联基准

ALFWorld(文本世界)、Habitat(3D 环境)、ALFRED(视觉语言导航)

不足与展望

网格世界过于简化,不能反映真实环境的复杂性。主要用于方法研究而非模型评测。

Agent 网格世界 课程学习 指令跟随