综合调研

CUA 全景：Computer-Use Agent 技术演进、核心论文与数据视角

Computer-Use Agent（CUA）领域从 OSWorld 到 EvoCUA 的系统梳理：核心论文解读、评测基准演化、世界模型引入（CUWM）、开源体系（OpenCUA/AgentNet）、训练数据构建方法，以及从预训练数据研究者视角的洞察。

Computer Use Agent CUA GUI Agent OSWorld EvoCUA UI-TARS OpenCUA World Model 合成数据 训练数据 多模态

为什么 CUA 是 2025-2026 年最值得关注的 Agent 方向

Computer-Use Agent（CUA）指能够感知屏幕、操控鼠标键盘、完成真实计算机任务的自主 AI 系统。它不同于纯语言 Agent 或代码 Agent——它必须理解像素级 UI 状态、预测操作后果，并在容错空间极小的环境里做决策（一次误操作可能毁掉整个工作流）。

这个方向在 2025-2026 年迎来爆发，核心驱动有三：

  1. 商业可行性清晰：OpenAI Operator、Anthropic Computer Use、Google Project Mariner 先后落地，市场需求真实存在
  2. 基准出现：OSWorld（2024）首次提供可复现的跨 OS 评测环境，让学术竞争成为可能
  3. 数据瓶颈暴露：从 OSWorld 17% → 56.7%（EvoCUA），性能飞升背后是「数据飞轮」的构建方式跑通了

评测基准演化

OSWorld（核心基准）

OSWorld 是 CUA 领域的 SWE-bench，是标尺。

  • 论文：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments（2024）
  • 任务数：369 个真实计算机任务，横跨 Chrome、LibreOffice、GIMP、VS Code 等桌面应用
  • 评测维度：GUI 操作成功率（execution-based），不是截图匹配
  • 人类基线：72-74%
  • 历史进展：
    • 2025 年初：最佳模型 ~17%
    • 2025 年中：~45%（OpenCUA-72B）
    • 2026 年初：56.7%（EvoCUA）—— 接近但仍低于人类水平

OSWorld-Human：效率维度的补充

AI 能完成任务，但太慢了。

GUI-360°

核心论文解读

1. OpenCUA & AgentNet（NeurIPS 2025）

论文：OpenCUA: Open Foundations for Computer-Use Agents

这是 CUA 领域最重要的开源基础设施工作，XLang Lab（前 OSWorld 团队）出品，NeurIPS 2025 收录。

三件套：

  • AgentNet：首个大规模 CUA 任务数据集，覆盖 3 大 OS + 200+ 应用/网站，包含人类示范轨迹
  • AgentNetTool：无缝捕获人类计算机操作示范的标注基础设施
  • AgentNetBench：基于 AgentNet 的离线模型评测工具

为什么重要：打破了 CUA 系统封闭的困局。OpenAI/Anthropic 的最强 CUA 系统细节不公开，研究社区需要开放的数据 + 模型 + 评测。

开源模型系列：OpenCUA-7B / 32B / 72B，2025 年底已支持 vLLM 推理。

2. EvoCUA：进化式数据飞轮（2026-01）

论文：EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience

Meituan + Fudan（邱锡鹏团队）出品，OSWorld SOTA 56.7%，超越 UI-TARS-2（53.1%）。

核心思路：打破静态数据依赖，构建「数据生成 → 策略优化 → 再生成」的自我进化循环。

三大组件：

  1. Verifiable Synthesis Engine（可验证合成引擎）

    • 自主生成多样化任务 + 可执行的验证器（verifier）
    • 解决数据稀缺：不依赖人工标注，任务量可无限扩展
    • 关键创新：verifier 是可执行的——不是 LLM 评分，而是真实运行验证

  2. Scalable Infrastructure（万卡沙箱）

    • 数万个异步沙箱并行 rollout
    • 大规模轨迹采集：成功轨迹 + 失败轨迹都有价值

  3. Iterative Evolving Learning（迭代进化学习）

    • 动态识别「能力边界」
    • 成功轨迹强化，失败轨迹 → 错误分析 + 自我纠正 → 转化为监督信号
    • 实质：failure trajectory 是最有价值的训练数据

数据视角的洞察：EvoCUA 的本质是用「合成经验」替代静态 imitation learning，核心是「失败轨迹的再利用」——这与 Harness Engineering 的思路高度一致，都把 failure 当 first-class citizen。

3. UI-TARS-2：字节跳动的多轮 RL 方案（2025-09）

论文：UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning

字节跳动出品，「All in One」Agent 模型，统一 GUI/Game/Code/Tool Use 能力。

关键技术：

  • 数据飞轮：可扩展数据生成机制
  • 稳定多轮 RL：多步任务的强化学习稳定性是难点（每步错误会级联放大）
  • 混合 GUI 环境：集成文件系统 + 终端（突破纯 GUI 局限）
  • 统一沙箱平台：大规模 rollout 基础设施

性能：OSWorld 53.1%，被 EvoCUA 超越但仍是闭源 + 多模态全能的代表。

4. CUWM：给 CUA 加世界模型（2026-02）

论文：Computer-Using World Model
作者：Yiming Guan 等，微软研究院

问题：CUA 在真实环境里不能 trial-and-error——一个错误操作会真实影响文件、数据、状态。如何在执行前推理后果？

方案：引入 World Model（世界模型）预测「当前 UI 状态 + 候选动作 → 下一 UI 状态」。

两阶段分解：

  1. Stage 1 - 文本预测：先用语言预测「Agent 关注的状态变化描述」（轻量）
  2. Stage 2 - 视觉渲染：基于文本变化描述，合成下一帧截图（重量）

训练数据：从真实 Microsoft Office 应用中收集的离线 UI 转换序列 + 轻量 RL 对齐文本转换预测的结构化要求。

评测方式：Test-Time Action Search——冻结 agent 模型，用 World Model 模拟多个候选动作，选最优再执行。

结果：跨多个 Office 任务，World Model 引导的 test-time scaling 显著提升决策质量和执行鲁棒性。

数据视角：CUWM 需要「UI 转换序列」作为训练数据——这是一种新型的 agent 轨迹数据：不只需要 (state, action, outcome)，还要有足够高质量的截图对来训练 state transition model。

方法论全景：数据与训练视角

从数据工程视角看，CUA 领域的技术演化可以归结为「如何获得足够多、足够高质量的轨迹数据」：

数据获取方式对比

方法代表工作优点局限
人类示范（Imitation）AgentNet高质量、无分布偏移成本极高，难以规模化
静态数据增强UI-TARS-1中等成本无法覆盖长尾失败模式
可验证合成 + 沙箱EvoCUA无限扩展，自动验证合成任务分布可能偏
World Model 模拟CUWM零执行成本的反事实探索世界模型本身需要大量 UI 转换数据
RL + 自我进化UI-TARS-2, EvoCUA自动发现能力边界训练不稳定，奖励设计难

失败轨迹的价值

CUA 领域有一个反直觉的发现：失败轨迹（failure trajectories）可能比成功轨迹更有价值。

  • EvoCUA 明确指出：失败轨迹 → 错误分析 + 自我纠正 → 转化为「纠错监督信号」
  • CUWM 的 test-time search 本质上是：在虚拟环境里「主动制造失败」并从中学习选择
  • 这与 Harness Engineering 的核心命题高度一致：Agent 执行系统本身就是数据飞轮，每次失败都是下一轮训练的素材

OSWorld 性能演进

2024 早期：~7%（GPT-4V 基线）
2025 初   ：17%（Claude Computer Use）
2025 中   ：45%（OpenCUA-72B）
2025 末   ：53.1%（UI-TARS-2）
2026 初   ：56.7%（EvoCUA）
人类基线  ：72-74%

从 17% 到 56.7% 只用了约一年，速度惊人。但注意：这条曲线正在减速——最后 20pp 的提升越来越难。

产业现状：三家主力

OpenAI CUA（Operator）

  • 2025 年初推出，集成于 ChatGPT / API
  • 底层基于 CUA 专项训练（GPT-4o 系列）
  • 重点：WebArena 等 web navigation 任务
  • 安全设计：防止 prompt injection、意外删除、越权操作

Anthropic Computer Use

  • Claude 3.5 Sonnet/Opus 支持 computer use tool
  • API 提供截图 + 鼠标/键盘控制接口
  • 在 WebArena 单 Agent 系统中达到 SOTA
  • 商业路线：以 API 为主，不做独立产品

Google Project Mariner

  • 2025 年 DeepMind 推出，基于 Gemini
  • 重点：浏览器任务自动化

前沿挑战

1. 长尾任务的泛化

当前 SOTA 在 OSWorld 369 个任务上表现可以，但现实中用户任务更加多样、上下文更长、软件版本更新。如何泛化？

2. 效率问题

OSWorld-Human 揭示的 10x 延迟差距：需要更高效的 perception + planning，而不只是更高成功率。

3. 安全与边界控制

“一次误操作可能删掉所有文件。”

CUA 需要「能力边界识别」——知道什么时候应该停下来确认，而不是盲目执行。

4. 多模态基础模型质量

CUA 的上限受限于底层 VLM 的 UI understanding 能力：

  • 精确的空间定位（哪个按钮在哪里）
  • 文本识别（截图中的文字）
  • 状态追踪（任务进行到哪一步了）

5. 真实部署的奖励设计

沙箱里验证是否成功相对容易（有 ground truth），但真实用户任务的成功标准模糊——这是 CUA 商业化的核心难题。

与预训练数据研究的交叉点

CUA 对预训练数据构建有几个直接启示：

1. 截图数据的价值被低估

预训练数据通常以文本为主，但 CUA 需要大量 UI 截图 + 对应文本描述。这类数据在 Common Crawl 里几乎没有——是一个真实的「数据空白」。

2. 轨迹数据的构建方法论

EvoCUA 的「可验证合成 + 沙箱 rollout」思路直接可借鉴：

  • 合成任务 → 自动验证 → 大规模采样 → 筛选高质量轨迹
  • 失败轨迹的二次利用

3. World Model 作为合成数据生成器

CUWM 展示了一个可能性：用 World Model 生成大量反事实 UI 转换数据，用于后续 agent 训练。这本质上是一个新型的「合成数据引擎」。

4. 中训练方向

在 base 模型上做「GUI 理解专项中训练」——给模型注入 UI 感知能力，类似 code 中训练给模型注入编程能力。这是一个尚未被充分探索的中训练数据方向。

推荐阅读列表

论文arXiv重要程度
OSWorld2404.07972⭐⭐⭐⭐⭐ 必读基准
OpenCUA2508.09123⭐⭐⭐⭐⭐ 开源体系
EvoCUA2601.15876⭐⭐⭐⭐⭐ 当前 SOTA
UI-TARS-22509.02544⭐⭐⭐⭐ 多轮 RL
CUWM2602.17365⭐⭐⭐⭐ World Model
GUI-360°2511.04307⭐⭐⭐ 数据集
OSWorld-Humanmlsys 博客⭐⭐⭐ 效率视角

报告生成：2026-04-14 | 涵盖论文截止：2026-02

关联内容

研究 🔗 相关
Agent 类型全景：评测基准、任务示例与训练优化手段
十类 LLM/多模态 Agent 的系统梳理：各类型覆盖能力、代表评测基准（含链接）、典型任务示例、业界主流优化手段，以及纯语言模型 vs 多模态模型的能力边界对比。含 Search Agent、Data Science Agent、GUI Agent、Mobile Agent 专项。
研究 🔗 相关
Agent Sandbox 全景研究：技术格局、安全本质与我们需要做什么
Agent 开始真正执行代码、调用 API、访问文件系统——Sandbox 从「可选的安全措施」变成了「可用 Agent 的前提条件」。本文系统梳理 2025-2026 年 Sandbox 的技术格局、核心安全挑战，以及我们在数据团队 AI 原生化过程中需要面对的 Sandbox 问题。
研究 🔗 相关
SWE-agent 全家桶深度研究：从 ACI 到 mini-SWE-agent 的极简主义演化
普林斯顿/斯坦福团队围绕 SWE-agent 构建了一个完整的 Coding Agent 研究生态——SWE-agent → SWE-ReX → SWE-smith → mini-SWE-agent。本文从架构、ACI 设计哲学、数据生成、训练闭环到极简化演进做完整拆解，并评估其对 HarnessForge v2 的参考价值。