返回评测
Agent Agent-移动 未饱和 模态 · 截图 任务 · 执行验证

KnowU-Bench

192 个任务评测移动 Agent 的用户偏好推断、主动决策和个性化执行能力

Zhejiang University ·

考察能力

用户偏好推断 主动决策 GUI 操作 个性化交互 同意协商

构建信息

数据规模
192 tasks (42 通用 GUI + 86 个性化 + 64 主动)
构建方式
基于 Android 模拟环境 + LLM 驱动用户模拟器
评测方式
在线评测:规则验证 + LLM-as-Judge
核心指标
Task Success Rate (%)

为什么重要

现有 Mobile Agent 评测只关注”给明确指令后能否执行”,但真实场景中用户指令往往模糊,Agent 需要主动推断偏好、请求澄清、甚至在适当时候主动干预。KnowU-Bench 首次系统性评测这种交互式、主动式的移动 Agent 能力。

核心设计

三类任务覆盖递进能力:通用 GUI 任务(42 个)测基础操作、个性化任务(86 个)测偏好推断、主动任务(64 个)测干预决策。关键设计是将用户配置文件对 Agent 隐藏,仅暴露行为日志,迫使 Agent 进行真正的推断而非简单的上下文查找。评测使用 LLM 驱动的用户模拟器支持多轮澄清对话。

关键发现

即使在显式任务执行中表现优秀的 Agent(包括 Claude Sonnet 4.6),面对模糊指令时成功率也跌破 50%。核心瓶颈不在 GUI 导航,而在偏好获取和干预校准——这是当前 Agent 系统普遍忽视的能力维度。

移动 Agent 个性化 主动性 GUI