为什么重要
154 个 Windows 桌面任务——在 Azure VM 上用真实 Windows 环境运行。即使 GPT-4V + Navi 也只有 19.5%。
构建方式与示例
Office/浏览器/系统设置等。例如：“在 PowerPoint 中将第三张幻灯片的标题改为 X 并应用 Y 主题。“
返回评测
Agent Agent-ComputerUse 未饱和
模态 · 截图
任务 · 执行验证
WindowsAgentArena
154 个 Windows 桌面应用操作任务，覆盖 Office/浏览器/系统设置等日常办公场景
Microsoft Research ·
考察能力
Windows操作 Office 多窗口 系统设置
构建信息
- 数据规模
- 154 tasks
- 构建方式
- 专家设计 + Azure VM 环境
- 评测方式
- 状态检查
- 核心指标
- Success Rate (%)
模型效果排行
🥇 GPT-4V + Navi
19.5% 2024-09
Windows 桌面 Computer Use