返回评测
Agent Agent-工具调用 未饱和 模态 · 文本 任务 · 执行验证

ALFWorld

对齐 TextWorld 与 ALFRED 的文本 Agent 基准,6 类家务任务

Microsoft Research / Georgia Tech ·

考察能力

文本环境交互 规划 探索 任务分解

构建信息

数据规模
3,553 environments, 6 task types
评测方式
任务完成率
核心指标
Success Rate

模型效果排行

🥇 GPT-4 (ReAct)
78%
🥈 Claude 3 Opus
72%

为什么重要

ALFWorld 是 ReAct 论文的标志性评测环境——将 ALFRED 的视觉家务任务转化为纯文本交互,让 LLM Agent 在文本世界中执行”找到物品→操作物品→放置到目标位置”的多步任务。它是评测 LLM Agent 规划和交互能力的经典基准。

构建方式

基于 ALFRED 的 3D 家庭环境生成文本描述。Agent 通过文本命令(go to, pick up, put, open 等)与环境交互。6 类任务:Pick, Clean, Heat, Cool, Examine, Pick Two。

任务示例

  • 任务:“Put a clean apple in the fridge”
  • Agent 需要:探索房间 → 找到苹果 → 去水槽清洗 → 打开冰箱 → 放入
  • 环境返回文本描述,Agent 决定下一步动作

关键发现

  • ReAct(推理+行动交替)在 ALFWorld 上比纯 CoT 提升 30%+
  • 探索策略是关键——盲目探索导致大量失败
  • 任务分解能力(将目标拆解为子目标)是成功的核心

关联基准

WebShop(购物 Agent)、InterCode(代码 Agent)、BabyAI(网格世界)

不足与展望

文本世界的感知比真实世界简单得多。成功率的天花板受限于文本描述的完整性。

Agent 文本世界 交互 规划 经典基准