OSWorld-Verified

为什么重要

OSWorld 的人工验证子集，确保每个任务确实可行且评分标准无歧义。Claude 4 System Card 的核心评测之一。

构建方式

1. 从 OSWorld 369 个任务中筛选
2. 每个任务经过人工验证：可行性、评分一致性
3. 排除了歧义和环境依赖性强的任务

最新进展

• 2026-10：官方维护者自跑榜披露，头名是一个框架而不是一个模型。OSWorld-Verified 的官方榜不由厂商自报，而是维护团队在自己环境里跑提交方的 Agent 代码（需预约排期），统一设置、同一套 361 个任务。2026-10 抓取到的前八名（全部 100 步预算）：

  #	条目	类型	成功率
  1	Intelligence-Indeed Agent	智能体框架	90.19%
  2	claude-fable-5（max）	通用模型	85.96%
  3	Pointer Agent + Opus 4.7	智能体框架	83.64%
  4	claude-opus-5（max）	通用模型	83.39%
  5	Coasty CUA v1	通用模型	82.81%
  6	Holo3-35B-A3B	专用开源权重模型	82.56%
  7	Pointer Agent + Sonnet 4.6	智能体框架	81.45%
  8	Muse Spark 1.1	通用模型	80.67%

  三个读法。第一，前十二名全部高于 72.36% 的人类基线，这也是 OSWorld 2.0 存在的直接理由——本基准已经不再能区分前沿系统。第二，前十二里有五个是包着别人模型的框架，头名就是其中之一：在这条榜上脚手架值的分比权重值多。第三，Holo3-35B-A3B 的 82.56% 高于 H 公司自己公布的 78.85%，是被第三方验证过的唯一一个可下载 GUI Agent 的高分。

• 2026-10：步数预算是一等混淆变量，不是脚注。官方榜按 15 / 50 / 100 步三档分别收录，同一模型仅因步数预算不同可以从 9.1% 摆到 23.0%。比较两个 OSWorld-Verified 数字之前，先对齐步数上限。本次更新把 topResults 整列统一到 100 步口径，此前卡内的 85.0% / 84.8% / 83.4% / 83.0% / 81.2% / 78.7% 等厂商自报值大概率不是同一档预算，已在下方保留存档但不与上方混排

• 2026-10：本次更新替换掉的厂商自报值存档（口径与上方官方榜不同，不作比较）：Claude Mythos 5 85.0%、Claude Fable 5 85.0%（官方榜 85.96%，差 0.96pp，方向一致）、Kimi K3 84.8%、Claude Opus 4.8 83.4%（官方榜无此行）、Gemini 3.6 Flash 83.0%、Holo3-35B-A3B 82.6%（官方榜 82.56%，基本吻合）、Claude Sonnet 5 81.2%、GPT-5.5 78.7%。其中 Holo3 与 Fable 5 两条跨源吻合，说明厂商 lane 与官方 lane 在这两个条目上接近；其余未获交叉验证的两值并存不判真值

• 2026-05-19：Holo3-35B-A3B（H Company，Apache 2.0）在 OSWorld-Verified 上达 82.6%，与 Claude Mythos Preview (79.6%) 差距压缩至 0.8pp——这是首个开源权重模型在该基准上接近闭源顶级。Holo3-122B-A10B 78.8%、H Company API 122B 变体 78.8%；Holo3 整体基于 Qwen3.5 backbone，3B 活跃参数（35B 总参数）即可击败 GPT-5.4 (75.0%)

• 2026-05-28：Claude Opus 4.8 发布，OSWorld-Verified 达 83.4%，Anthropic 自己的系统卡中 Fable 5 / Mythos 5 / Opus 4.8 形成 85.0% / 85.0% / 83.4% 集群

• 2026-06-09：Anthropic 发布 Claude Fable 5 与 Mythos 5，OSWorld-Verified 双双达 85.0%（Anthropic 自报 / BenchLM 6/18 排行榜确认），领先 Opus 4.8 1.6pp；3 天后（6/12）Fable 5 / Mythos 5 因美国出口管制全球下架

• 2026-06-24：Gemini 3.5 Flash 发布原生 computer use 集成（browser / mobile / desktop 一体化），OSWorld-Verified 78.4% / WebVoyager 75%；价格仅 $1.50/$9 per 1M tokens

• 2026-06-30：Anthropic 发布 Claude Sonnet 5（intro $2/$10，2 个月优惠），OSWorld-Verified 达 81.2%，超越人类基线 72.4%；prompt-injection 攻击成功率仅 0.93%（vs Opus 4.8 31.5%）

• 2026-07-01：Fable 5 / Mythos 5 由美国商务部解禁全球恢复访问，85.0% 重新有效；Top 7 模型均超 78%（Opus 4.8 83.4% / Holo3-35B 82.6% / Sonnet 5 81.2% / Holo3-122B 78.8% / GPT-5.5 78.7% / Gemini 3.5 Flash 78.4% / Opus 4.7 78.0%）

• 2026-07-06：awesomeagents.ai 7月榜单确认 Sonnet 5 81.2% / Opus 4.8 83.4% / Fable 5 85.0% 形成 Anthropic 三档梯队；Holo3-35B-A3B 82.6% 为开源最强；Kimi K2.6 73.1% / MiniMax M3 70.1% / Qwen3.7 Plus 73.3% 形成开源第二梯队

• 2026-07-06：benchlm.ai 7月排行榜扩展至 23 个模型，Top 3 集群 85-83%（Mythos 5 85% / Fable 5 85% / Opus 4.8 83.4%），OSWorld-Verified 已进入饱和压缩阶段；Holo3-35B-A3B 0.8pp 接近 Mythos，标志开源权重 Computer Use 首次反超

• 2026-07-21：Google 发布 Gemini 3.6 Flash，OSWorld-Verified 达 83.0%（原生 computer use 集成），在价格仅 $1.50/$7.50 per 1M tokens 的情况下性能超过 Opus 4.8 的 83.4% 仅 0.4pp——成为当前性价比最高的 Computer Use 模型

• 2026-07-24：Anthropic 发布 Claude Opus 5，OSWorld 2.0 first-attempt 达 70.6%（vs Opus 4.8 55.7%），但 OSWorld-Verified 具体分数未见于 System Card——Anthropic 将 Computer Use 评测重点转向了更难的多步任务（OSWorld 2.0）；Opus 5 在 OSWorld 2.0 上的成本约为 Fable 5 的 1/3

• 2026-08-17：Kimi K3（Moonshot AI，2.8T MoE，2026-07-16 发布，vendor 自报）以 84.8% 进入 Top 4，仅落后 Fable 5 / Mythos 5（85.0%）0.2pp、超越 Opus 4.8（83.4%）1.4pp——开源权重模型首次逼近 Anthropic Computer Use 顶级梯队；其 Profile 与 Qwen3.8-Max 类似，在长程自主任务上表现突出

• 关键趋势：OSWorld-Verified 已进入深度饱和——Top 6 模型集群在 85-81% 仅 3.8pp，Gemini 3.6 Flash (83.0%) 以极低成本逼近 Anthropic 旗舰；计算机使用能力正从”能不能用”转向”成本效率”阶段；行业评测重心转向 OSWorld 2.0（108 长程任务 / 500 步上限 / 7 专业领域）和 Frontier-Bench 等更长链条评测；OSWorld-Verified 短期仍是最常用的 Computer Use 标尺，但区分度已接近零

关联基准

• OSWorld：完整版
• WindowsAgentArena：Windows 专项

不足与展望

• 验证子集偏小，覆盖面不如完整版
• 任务时长偏短，缺乏长期桌面工作的评测
• Holo3-35B 多应用工作流与突发对话框处理仍是开源的瓶颈