为什么重要
WebShop 将网页 Agent 评测聚焦到在线购物这一高频场景：从自然语言指令出发，在真实商品目录中搜索、浏览、比较、选择属性并购买。它是最早的端到端 Web Agent 基准之一。
构建方式
- 从 Amazon 爬取 1.18M 真实商品信息
- 构建模拟购物网站（搜索/筛选/详情/购买流程）
- 众包收集 12,087 条购物指令
- 奖励函数基于属性匹配度计算
任务示例
指令：“I need a red, machine-washable, queen-size comforter under $50” Agent 行为：搜索 → 筛选颜色和尺寸 → 比较价格 → 选择 → 购买
关键发现
- 属性精确匹配是最大挑战（“queen-size” vs “king-size”）
- 搜索query构造能力显著影响后续表现
- 价格约束的遵守率不稳定
关联基准
- WebArena：真实网页环境
- Mind2Web：跨网站指令
- AssistantBench：Web 助手
不足与展望
- 模拟环境比真实网站简单
- 仅限购物场景
- 商品信息可能过时