为什么重要
覆盖单 App/多 App/系统操作三个维度的移动端评测。难度随维度增加陡增。
构建方式与示例
832 个任务。例如单 App：“在设置中开启深色模式”；跨 App：“从邮件复制地址 → 打开地图导航”。
关联基准与展望
关联：AndroidWorld、ScreenSpot。不足：Android only。
返回评测
Agent Agent-移动 未饱和
模态 · 截图
任务 · 执行验证
Mobile-Bench
覆盖单 App / 多 App / 系统操作三个维度的移动端 Agent 评测
Tsinghua ·
考察能力
单App操作 跨App 系统设置 手势
构建信息
- 数据规模
- 832 tasks
- 构建方式
- 专家设计
- 评测方式
- 多粒度评分
- 核心指标
- Checkpoint Score (%)
资源链接
模型效果排行
🥇 GPT-4V
~30% 2024-07
移动端 Android Agent