为什么重要
BabyAI 提供了一个可控的 Agent 评测平台——19 个难度递增的关卡,从简单导航到复合条件指令。课程设计使其成为研究 Agent 学习效率和泛化能力的理想环境。虽然是简化的网格世界,但其设计理念影响了后续更复杂的 Agent 基准。
构建方式
MiniGrid 引擎生成的 2D 网格世界。指令用结构化语言描述。19 级难度通过组合更多的条件、物体和空间约束实现。环境可无限生成新实例。
任务示例
- Level 1: “go to the red ball”
- Level 10: “pick up a blue key, then open the yellow door”
- Level 19: “put the green ball next to the purple box after going to the red door”
关键发现
- 样本效率是关键度量——强化学习 Agent 需要大量交互
- LLM Agent 在高级别任务上的零样本表现令人惊讶
- 组合泛化(从简单指令泛化到复合指令)仍是挑战
关联基准
ALFWorld(文本世界)、Habitat(3D 环境)、ALFRED(视觉语言导航)
不足与展望
网格世界过于简化,不能反映真实环境的复杂性。主要用于方法研究而非模型评测。