为什么重要
游戏是评测 Agent 综合能力的理想测试场,但此前缺乏统一的评测标准——不同游戏用不同接口、不同验证方式,结果难以横向比较。GameWorld 通过统一的浏览器环境和基于状态的可验证评估,解决了这一问题。
核心设计
覆盖 34 款多样化游戏的 170 个任务,支持两种 Agent 接口:计算机使用代理(直接发射键鼠控制)和通用多模态代理(在语义动作空间操作)。每个任务配备基于状态的可验证指标,通过多次全基准重跑确保鲁棒性。还包含对实时交互、上下文记忆敏感性和动作有效性的扩展研究。
关键发现
即使是当前最强的多模态 Agent,在视频游戏任务上仍远未达到人类水平,尤其在需要精细感知、长时程规划和精确控制的任务上差距明显。