返回评测
Agent Agent-通用助手 未饱和 模态 · 文本 任务 · 开放生成

GameWorld

34 款游戏 170 个任务,为多模态游戏 Agent 提供可验证的标准化评估框架

National University of Singapore ·

考察能力

精细感知 长时程规划 精确控制 多模态理解 实时交互

构建信息

数据规模
170 tasks / 34 games
构建方式
浏览器环境 + 基于状态的可验证评估
评测方式
状态可验证指标 + 多次重跑鲁棒性验证
核心指标
State-based Task Completion

为什么重要

游戏是评测 Agent 综合能力的理想测试场,但此前缺乏统一的评测标准——不同游戏用不同接口、不同验证方式,结果难以横向比较。GameWorld 通过统一的浏览器环境和基于状态的可验证评估,解决了这一问题。

核心设计

覆盖 34 款多样化游戏的 170 个任务,支持两种 Agent 接口:计算机使用代理(直接发射键鼠控制)和通用多模态代理(在语义动作空间操作)。每个任务配备基于状态的可验证指标,通过多次全基准重跑确保鲁棒性。还包含对实时交互、上下文记忆敏感性和动作有效性的扩展研究。

关键发现

即使是当前最强的多模态 Agent,在视频游戏任务上仍远未达到人类水平,尤其在需要精细感知、长时程规划和精确控制的任务上差距明显。

游戏 Agent 多模态 标准化评测 可验证