为什么重要
AgentTrek 解决了 Web Agent 评测的核心瓶颈——任务标注成本高。它通过 LLM Agent 自动浏览真实网站、生成任务描述和验证条件，大规模产出高质量评测任务。生成的任务直接在真实网站（非模拟环境）上执行。
构建方式
使用 “explorer agent” 自动浏览网站，记录操作轨迹，然后用 LLM 从轨迹中提取有意义的任务。人工过滤低质量任务，保留 658 个高质量评测任务。
任务示例
- 网站：真实的在线购物平台
- 任务：“Find a laptop under $1000 with at least 16GB RAM and add it to cart”
- 验证：检查购物车状态
关键发现
- 真实网站的动态内容让 Agent 成功率远低于模拟环境
- 任务自动生成方法可扩展性强，有望持续产出新评测
- 长任务（>10 步）的成功率急剧下降
关联基准
WebArena（模拟网站）、VisualWebArena（视觉网页Agent）、Mind2Web（真实网页）
不足与展望
真实网站持续变化导致评测不可复现。需要更好的长期稳定评测方案。