为什么重要
Mind2Web 的核心贡献是评测跨网站泛化——模型需要在从未见过的网站上完成操作。在 cross-website 设置下，即使 GPT-4 也只有 41.6% 的元素选择准确率。
构建方式
- 覆盖 137 个真实网站，2350 个任务
- 众包标注操作轨迹
- 三种泛化设置：cross-task、cross-website、cross-domain
任务示例
示例：“在一个之前没见过的电商网站上，搜索红色运动鞋，筛选价格 200 以内”
关键发现
- cross-website 设置是最大挑战：换个没见过的网站，准确率暴降
- 说明当前模型更多在”记忆”网站结构而非”理解”界面
关联基准
- WebArena：固定网站深度评测
- VisualWebArena：视觉导向
- WorkArena：企业级
不足与展望
- DOM 标注在现代 SPA 应用上可能不准确
- 没有测动态页面和 JavaScript 交互