为什么重要
VisualWebArena 在 WebArena 基础上增加了必须通过视觉才能完成的任务——纯 DOM 解析无法完成。最强模型也只有 ~18%。
构建方式
- 910 个视觉导向的网页操作任务
- 每个任务都需要”看图”才能做（如识别图片中的产品）
- 建立在 WebArena 的沙箱基础上
任务示例
示例：“在购物网站上找到’和这张图片一样的红色连衣裙’“（需要视觉相似性匹配）
关联基准
不足与展望
- 视觉任务的多样性还不够
- 动态页面内容变化导致评测不稳定
返回评测
Agent Agent-Web 未饱和
模态 · 截图
任务 · 执行验证
VisualWebArena
910 个需要视觉理解的网页操作任务，是 WebArena 的多模态扩展
CMU ·
考察能力
视觉网页理解 GUI操作 多步交互
构建信息
- 数据规模
- 910 tasks
- 构建方式
- 真实网站 + 专家设计
- 评测方式
- 任务完成判定
- 核心指标
- Success Rate (%)
模型效果排行
🥇 GPT-4V + SoM
~18% 2024-01
网页Agent 视觉 GUI