为什么重要
现有 Mobile Agent 评测只关注”给明确指令后能否执行”,但真实场景中用户指令往往模糊,Agent 需要主动推断偏好、请求澄清、甚至在适当时候主动干预。KnowU-Bench 首次系统性评测这种交互式、主动式的移动 Agent 能力。
核心设计
三类任务覆盖递进能力:通用 GUI 任务(42 个)测基础操作、个性化任务(86 个)测偏好推断、主动任务(64 个)测干预决策。关键设计是将用户配置文件对 Agent 隐藏,仅暴露行为日志,迫使 Agent 进行真正的推断而非简单的上下文查找。评测使用 LLM 驱动的用户模拟器支持多轮澄清对话。
关键发现
即使在显式任务执行中表现优秀的 Agent(包括 Claude Sonnet 4.6),面对模糊指令时成功率也跌破 50%。核心瓶颈不在 GUI 导航,而在偏好获取和干预校准——这是当前 Agent 系统普遍忽视的能力维度。