为什么重要
WebArena 是最被广泛采用的 Web Agent 评测——在真实网站的沙箱环境中执行购物、GitHub 操作、Reddit 浏览等任务。是评测”AI 能不能帮你操作网页”的标准基准。
构建方式
- 部署 4 个真实网站的本地沙箱：购物网站、GitLab、Reddit、地图
- 812 个端到端任务，每个都有明确的成功判定条件
- 模型可以用 DOM 或截图作为输入，输出是页面操作序列
- 自动化验证：检查页面最终状态是否满足任务要求
任务示例
购物：“搜索价格低于 $30 的无线鼠标，选择评分最高的，加入购物车” GitLab：“创建一个新的 issue，标题为 X，描述为 Y，分配给用户 Z” Reddit：“在 r/programming 发一个帖子，标题中包含 ‘Python‘“
最新进展
- 2026-05：BenchLM 更新 WebArena 排行榜至 15 个模型，Claude Mythos Preview 以 68.7% 领先
- 2026-05：GPT-5.4 Pro 达 65.8%，Claude Opus 4.6 达 64.5%，Top 3 差距仅 4.2%
- 2026-05：Gemini 3.1 Pro 以 58.4% 进入 Top 6，Qwen3.6 Plus 以 57.2% 紧随其后
- 2026-06：Claude Opus 4.7 在 WebArena 上达 60.2%，较 Opus 4.6 (64.5%) 有所下降，可能与评测配置差异有关
- 关键趋势：WebArena SOTA 仍远低于人类基线 78%，框架/Agent 编排的影响仍然巨大；WildClawBench 等新一代原生运行时基准正在提供互补的 Agent 评测视角
关键发现
- Claude Mythos Preview 在 WebArena 上达到 68.7%，但仍低于人类基线 78%
- GPT-5.4 Pro 达到 65.8%，Claude Opus 4.6 达到 64.5%，Top 模型差距缩小
- Gemini 3.1 Pro 和 Qwen3.6 Plus 分别以 58.4% 和 57.2% 进入 Top 8
- 多步任务（5+ 步）的完成率远低于短任务
- DOM 输入比纯截图输入好 ~10%（结构化信息更易处理）
- 人类约 78%，与前沿模型差距约 20%
关联基准
- VisualWebArena：视觉导向的扩展
- WorkArena：企业级 ServiceNow 场景
- Mind2Web：跨网站泛化评测
- BrowseComp：搜索信息而非操作界面
不足与展望
- 沙箱网站与真实网站有差距（简化了认证、验证码等）
- 没有测试动态页面（AJAX 加载、SPA 路由）
- 安全风险：Agent 操作网页可能导致误操作——WebArena 未评测安全性