为什么重要
ClawBench 首次在生产环境的真实网站上评测 AI Agent 的日常任务完成能力。不同于在静态沙盒页面上运行的传统 Web Agent 基准,ClawBench 直接让 Agent 在真实的购物、预订、求职等平台上操作,保留了完整的动态性和复杂度。
核心设计
153 个任务横跨 144 个在线平台、15 个类别(购物、预订、求职申请等),要求 Agent 具备从用户文档中提取信息、跨平台多步导航和大量”写入密集型”操作(如表单填写)的能力。评测采用轻量级拦截层,捕获并阻止最终提交请求以确保安全。
关键发现
最强的 Claude Sonnet 4.6 也仅达到 33.3% 完成率,说明当前 AI Agent 在真实网络环境中的日常操作能力距离实用化仍有显著差距。核心挑战在于动态页面适应、复杂表单交互和跨平台工作流编排。