OSWorld 2.0 2.0

为什么重要

OSWorld 2.0 是首个专为长程计算机使用设计的新一代基准。OSWorld 1.0（CMU 2024）任务偏短（30 步以内），而 2.0 直面”专业工作流”——人类中位完成时间 1.6 小时，单任务最多需要 500 步工具调用。Opus 4.7 平均单任务调用 318 次工具（vs OSWorld 1.0 的约 30 次）。

最关键发现（发布时）：500 步预算下，没有任何系统能完成超过 21% 的任务。最强 Claude Opus 4.8 也仅 20.6% 二元完成率。这与 SWE-bench Pro（>80%）和 WebArena（>60%）形成强烈对比，标志”长程时代”Agent 能力远未成熟。

2026-09-17 更新：上述”21% 天花板”已被打破。GPT-5.6 Sol 于 2026-07 把它推到 62.6%，GPT-6 Astra 于 2026-09 报出 72.6%（均为二元完成率、vendor 自报口径）。发布时”长程 Computer Use 远未成熟”的判断需要按新数据重读——但基准的部分得分（Partial）维度仍未同步更新，长程工作流的”完整跑通”与”跑对一半”之间的落差依然是主要区分度来源。

2026-09-22 更新：OpenAI 发布 GPT-6 Sol / Luna 时给出的同口径对照表，第一次让 OSWorld 2.0 上出现”一家厂商三代模型的完整价格—性能曲线”：Astra 73.5%（首发报 72.6%）/ Sol 64.4%（约 $3.25 每任务）/ Luna 52.7%（约 $0.27 每任务）。三条读法：① Astra 到 Sol 掉 9.1pp、价格降到 1/5；Sol 到 Luna 掉 11.7pp、价格再降到 1/12——与 ALE 上”Sol 用 20% 价格买到 95% 分数”的温和梯度不同，OSWorld 上档位间的能力落差明显更陡，长程计算机使用是 GPT-6 三档里分化最大的能力；② 该表同时给出 GPT-5.6 Sol 在 max 下的 66.2%，高于本卡此前记录的 62.6%（BenchLM 7/18 快照），说明 62.6% 不是 GPT-5.6 Sol 的上限而是当时那次快照的值，本卡已按 66.2% 更新并保留旧值；③ ⚠️ OpenAI 报的是 offline 子集，与本卡其余条目的 “Binary（500 步）” 是否为同一子集未获官方确认，读这两组数时应假定口径可能不同。另注：Snorkel 官方 OSWorld 2.0 榜截至 2026-09 仍只显示 Opus 5 各档（max 44.33% / high 36.89% / xhigh 33.33% / medium 33.01%），与厂商侧 74%–82% 的量级完全对不上，官方榜严重滞后，不要用它校验厂商数字。

基准专门捕捉此前基准未充分体现的挑战：

• 流式交互 / 动态 UI：传统基准假设 UI 静态，长程任务中信息随时间变化
• 跨源推理：需要融合邮件、文档、网页等多个数据源
• 隐状态推断：当信息分散在多个 artifact 中时，Agent 必须推理隐藏状态
• 视觉空间精度：长程任务中屏幕坐标精度要求更高
• 安全风险：Agent 在长程中可能采取 UI 绕过 / 越权提取隐藏状态

构建方式

1. 108 个长程任务，每个对应真实专业工作流
2. 31 个自托管网站 + 69 个专业桌面应用（覆盖研究/创意/工程/服务/金融/行政/医疗 7 大领域）
3. 21 个子类别，基于 SOC 主要职业组映射到工资总额 GDP 代理
4. 人类时间预算：中位 1.6 小时 / 69.6% 任务超过 1 小时
5. 细粒度奖励：平均 27.25 个检查点，引入”部分完成”评分
6. 三层质量控制：单元测试 + 人工复现 + 前沿 Agent 试运行，重点审计 reward hacking / 假阴性
7. 状态化用户画像：与有状态用户数据交叉参照，模拟真实用户意图演化
8. 独立安全报告：审计敏感执行过程

任务示例

研究类：“查阅这 5 篇论文 PDF，提取每篇的核心假设、实验设计和主要结论，生成对比表格并保存为 LaTeX 源文件，编译为 PDF”（需要 PDF 解析 + 信息提取 + LaTeX 排版 + 编译） 金融类：“下载这家公司过去 5 年的财报 CSV，对比同行业 3 家公司的同期数据，生成趋势图表并撰写 1000 字分析报告”（需要数据下载 + 多源对齐 + 图表生成 + 报告撰写） 工程类：“在这个 GitHub 仓库上修复 3 个 issue，修改相关测试，运行 CI 流水线确保全部通过”（需要多文件编辑 + 测试运行 + 错误恢复） 创意生产类：“使用 Figma/GIMP 制作这套营销素材，包含 5 种尺寸的横幅和 1 个产品演示动画”（需要 GUI 工具熟练 + 多步创意执行）

关键发现

• 20.6% 二元完成率上限：GPT-5.6 Sol 发布前，SOTA Claude Opus 4.8 max + Batched tool 只完成 1/5 任务
• GPT-5.6 Sol 3× 突破：2026-07-09 GPT-5.6 Sol 以 62.6% 二元完成率创下 SOTA，是此前最佳（20.6%）的 3 倍以上；这是 OSWorld 2.0 上首个跨越”不可用”到”多数可完成”门槛的模型
• 三档模型全面反超：GPT-5.6 Sol (62.6%) > Terra (50.2%) > Luna (45.6%)，即使最便宜的 Luna 也远超此前所有模型的 Binary 完成率
• Partial Score 集群 20-55%：所有系统都能”有进展”，但极少”完成”——这定义了 2026 H2 Computer Use Agent 的真实能力边界
• Opus 4.8 vs Opus 4.7 差异 2.4pp：4.8 在 Batched tool 下仅比 4.7 高 2.4pp（20.6% vs 18.2%），长程任务上代际提升有限
• GPT-5.5 性价比拐点：GPT-5.5 xhigh + Batch tool 13% Binary / 49.5% Partial，成本 $2.75K，是 Claude Opus 4.7 max ($3.87K) 的 71%，得分 89%——Opus 边际 Token 成本指数级上升但得分线性提升
• Step 平台进入 Top 4：GPT-5.5 是 Top 4 中唯一非 Claude 模型，OpenAI 通过 Batch tool + xhigh 在长程任务上建立优势
• 开源模型集体落后：MiniMax M3 (4.6% / 22.3%)、Kimi K2.6 (4.6% / 22.1%)、Qwen3.7 Plus (2.8% / 21.5%)，开源权重模型 Partial Score 已达 20%+，但 Binary 仍远低于闭源
• Batched tool 关键：Batched tool 模式比 Standard 模式在同模型下高 2-4pp Binary 分数，工具调用模式成为关键变量
• 失败模式分析：
  • 状态保持弱：长程中丢失上下文约束、错过中间实时信息
  • 视觉与交互瓶颈：动态 UI / 流式交互中”观察-思维-行动”循环延迟导致操作过期状态
  • 推理深度不足：隐式信息恢复 / 多状态追踪 / 复杂验证逻辑上表现骤降
  • 安全隐患：瓶颈时倾向 UI-bypass / 越权提取隐藏状态

最新进展

• ⭐ 2026-10-12 更新：Anthropic 的 Haiku 5.5 system card（2026-10-07）一次性给出四条同口径 OSWorld 2.1 offline 子集成绩，本榜头名与末位同时换人。 四条：Sonnet 5.5 83.9% / Haiku 5.5 72.4% / Haiku 4.5 15.7% / GPT-6 Luna 48.9%（Luna 由 Anthropic 在同样 82 个任务上经 OpenAI API 跑出，并套用 OpenAI 自己的上下文压缩）。三条读法： ① 中端反超旗舰在本榜第二次成立。Sonnet 5.5（$2/$10）83.9% 高于 Opus 5.5（$4/$20）的 81.8%。这与 2026-09-28 首次观察到的「Sonnet 5.5 在 Terminal-Bench 4.0 上 70.6% > Opus 5.5 66.4%」、以及 2026-10-10 GPQA Diamond 上 Sonnet 5.5 95.6% 居前二一起，构成「旗舰 > 中端」不再可默认的第三条独立证据。 ② ⚠️ Sonnet 5.5 出现两个互斥值：2026-09-28 自家发布材料报 80.1%，2026-10-07 Haiku 5.5 system card 报 83.9%，差 3.8pp。两者都标 OSWorld 2.1 partial，来源同为 Anthropic。本轮取 83.9% 进 topResults（排序需要唯一值），但两值并存、不判真值——处理法与 GPT-6 Sol 的 64.4% / 74.3% 跨源冲突一致。可能的解释是 effort 档位或子集不同，官方未说明。 ③ Haiku 5.5 是本榜第一个「小模型靠部分得分挤进前六」的案例，也是 Partial 口径失真最直观的一次演示。它的 72.4% 是 Partial，但同一次运行的全任务完成率只有 37.1%，差 35.3pp。作为对照：Sonnet 5.5 的部分得分 83.9%、Luna 48.9%（Luna 全任务 17.1%）。35.3pp 的这个落差，正好落在 2026-10-08 口径更正所指出的区间内（历史上 Opus 4.8 是 20.6% Binary / 54.8% Partial，约 1:2.7）。换句话说，Haiku 5.5 在本榜的真实定位是「能完成三分之一强的任务、能摸到七成的检查点」，而不是「72.4% 的任务能跑通」。 ④ 因新增两条 72%+ 条目，GPT-6 Sol（64.4%）与 GPT-6 Luna（52.7%）被挤出 topResults 前八。这是榜单拥挤度变化，不是能力下降——两条值仍完整保留在 09-22 与 10-05 的历史记录里。⚠️ 本轮同时确认本榜已分叉为 v2.0 与 v2.1 两套任务集：topResults 中 Sonnet 5.5 / Opus 5.5 / Fable 5.1 / Haiku 5.5 四条为 v2.1，其余为 v2.0。版本混排时排序只是合规，不构成版本间强弱结论。
• 🔴 2026-10-08 口径更正：本卡 topResults 整列此前标注为「Binary（二元完成率）」，实为「Partial（部分得分）」。 这是本卡至今最严重的一处标注错误，更正依据有三条，互相独立：① 厂商原始标注：Anthropic 的 Opus 5.5 发布材料写的是 81.8% partial on v2.1，OpenAI 的 Astra 条目写的是「OSWorld 2.0 (v2026.08.08, offline set, partial score)」；② 量级不可能：Snorkel 官方榜 500 步预算下的最佳 Binary 是 Claude Opus 5 max 的 44.33%（同一条还给出 partial 77.67%），若 81.8% 真是 Binary，厂商侧会比官方榜高出 37pp——而官方榜与厂商侧在 Terminal-Bench 上的落差只有 2pp 量级；③ 本榜自身的比值规律：Opus 4.8 是 20.6% Binary / 54.8% Partial，比值约 1:2.7；81.8% 落在 Partial 一侧完全吻合，落在 Binary 一侧则与整个基准的历史区间矛盾。 更正的后果需要读者重新理解本卡的定性结论：「长程 Computer Use 已能完成八成任务」这句话要改成「已能完成八成的检查点」。真正的二元完成率天花板目前是 48.7%（Opus 5.5，v2.1，媒体转述）与 44.33%（Opus 5 max，官方榜）——仍不到一半。Partial 与 Binary 之间约 33pp 的落差，才是这个基准当前真正的区分度所在。排序不受影响（整列同为 Partial），saturation 维持「未饱和」。 另补三条此前缺失的官方侧读数：官方 Snorkel 榜（2026-10-02 更新）500 步下 Opus 5 max = 44.33% Binary / 77.67% Partial，同一模型还以 28.98%–44.33% 的 Binary 出现在七个档位上；GPT-5.6 Sol 在 v2026.08.08 上是 62.72% Partial / 27.34% Binary；Opus 4.8 在最初的 v2026.06.24 上是 54.8% Partial / 20.6% Binary。⚠️ 官方页未说明这些运行用的是哪个任务版本，也未说明谁跑的，跨版本比较仍需谨慎。
• 2026-10-05 补录：GPT-6.1 Sol 以 71.4%（max, offline, Binary）进入 topResults 第 5 位，是这条 OpenAI 平价产品线第一次在本榜与自家旗舰站在同一档。 三条读法：① 数值经得起两处独立交叉校验——OpenAI 发布文案称「距 Astra 在 2.1pp 以内」，对应 73.5 − 71.4 = 2.1；称「较 GPT-6 Sol 高 7pp」，对应 64.4 + 7 = 71.4。两条声明与本卡既有数值完全自洽，因此判定与 Astra / GPT-6 Sol 同 lane（同为 max、offline 子集、Binary），可以进 topResults。② 成本差距远比分数差距大：Sol 6.1 约 $1.27/任务，Astra 约 $9.44/任务——少 2.1pp 的分数，换 7.4 倍的成本差。这与 Vals AI 在 Terminal-Bench 4.0 上观察到的「Astra 第三名 $9.58/任务，比第一、第二都便宜」是同一条曲线：2026-09 之后，OSWorld 与 Terminal-Bench 上的性价比最优解都不再是最便宜的档，也不再是最强的档。③ ⚠️ GPT-5.6 Terra 的 50.2% 本轮移出 topResults，理由是它记的是 Partial（部分得分）而非本列统一的 Binary，且与 Sol 6.1 插入后超出八条上限；该值仍保留在 2026-07-09 的历史记录里，不属于”分数下降”。另外提醒：本榜前四名仍是 Anthropic 三款 + Astra 的 vendor 自报 with-tools 口径，官方 Snorkel 榜截至本轮仍未同步 2026-09 之后的条目，71.4% 与 81.8% 是否可比从未获官方确认。
• 2026-09-22：Claude Opus 5.5 把二元完成率推到 81.8%，OSWorld 2.0 首次进入”八成”区间。Anthropic 在同口径（max, with tools）下给出的对照：Opus 5.5 81.8% / Fable 5.1 80.7% / Opus 5 74.0%。三点读法：① Anthropic 三个模型包揽前三，OpenAI 的 GPT-6 Astra 72.6% 落到第四——这与 2026-07 时”GPT-5.6 系列独霸 Top 3、Claude 差 3 倍”的局面完全反转，中间只隔了 10 周。本榜的厂商排名稳定性极低，任何”某公司统治 Computer Use”的结论都撑不过一个季度。② 前四名压缩在 9.2pp 以内（81.8 → 72.6），而第五名 GPT-5.6 Sol 是 62.6%——头部已经形成断层。③ ⚠️ 三家分数全部是 vendor 自报的 with-tools 口径，官方 Snorkel 榜本轮未见同步更新；对照本卡已知的规律（HLE 上 vendor 与 AA 差 6.3pp、Terminal-Bench 4.0 上 Anthropic 自测与官方榜差 2.1pp），81.8% 应视为厂商口径上限而非公开榜成绩。基准的定性判断再次推进：2026-06 的”没有任何系统超过 21%“已彻底作废，长程 Computer Use 从”几乎不可用”走到”头部模型可完成八成”；但Partial Score 维度仍未同步更新，108 个长程任务的”完整跑通”与”跑对一半”之间的落差仍是最主要的区分度来源，也是判断能否上生产的关键。
• ⚠️ 2026-09-28：OSWorld 出现版本分叉——Anthropic 的 Sonnet 5.5 发布材料报的是「OSWorld 2.1 partial credit 80.1%」，不是本卡的 OSWorld 2.0 二元完成率。这条数字不进 topResults，理由有三：① 版本不同：2.1 与 2.0 的任务集构成未获官方说明，本卡已有教训（Terminal-Bench 3.0 → 4.0 换任务集后分数不可比）；② 指标不同：80.1% 是部分得分（Partial），而 topResults 整列是二元完成率（Binary）；本榜历史上两者差值极大（Opus 4.8：20.6% Binary / 54.8% Partial），把 80.1% 插进 Binary 列会制造错误的排序；③ 来源单一：目前只有 Anthropic 自报与二手转述，官方 Snorkel 榜无对应条目。 真正有信息量的是同一来源里的代际对照：Sonnet 5 在 OSWorld 2.1 上是 57.0%，Sonnet 5.5 是 80.1%，一代之间 +23.1pp。作为尺度参照，Sonnet 5.5 在 Terminal-Bench 4.0 上的代际涨幅是 +60.3pp（10.3% → 70.6%）——同一个模型在两个长程 Agent 基准上的代际涨幅差 2.6 倍，说明 2.1 的部分得分口径比 Terminal-Bench 更早进入收益递减段。
• ⚠️ 2026-09-28 补一条跨源冲突（未决）：GPT-6 Sol 在 OSWorld 2.0 上存在两个互斥的公开值——OpenAI 2026-09-22 发布对照表给 64.4%，而 Anthropic 同期的 Opus 5.5 发布对照表给 74.3%（另一处同表给出 GPT-6 Luna 65.5%，而 OpenAI 侧 Luna 是 52.7%）。两个来源都是厂商自己的对照表，差值 9.9pp 远超常规 harness 落差，且方向不一致（Anthropic 表把 OpenAI 模型报得更高，这在厂商对照表里是反常的）。在本卡拿到任一方的 effort / 子集（offline 与否）/ harness 说明之前，64.4% 与 74.3% 并存、不判定哪个为真——这也再次印证 09-22 那条注记：OpenAI 报的是 offline 子集，与其他条目的 Binary（500 步）是否同一子集从未获官方确认。
• 2026-09-17 更新：GPT-6 Astra 报出 72.6% 二元完成率（vendor 自报，2026-09-03 发布），比 GPT-5.6 Sol 的 62.6% 再高 10pp，是 OSWorld 2.0 的新 SOTA。⚠️ 口径注记：① 该数字出自 OpenAI 自报，AGI Society 2026-09-10 的核查报告引用时只给了 OSWorld 项目主页（os-world.github.io），未链接到 2.0 专属结果页，本轮也未能从官方榜取到独立条目；② 官方未同步给出 Astra 的 Partial Score，而本榜历史上 Binary 与 Partial 差值很大（Opus 4.8：20.6% Binary / 54.8% Partial），72.6% 只能与 Binary 列比较。基准的定性判断随之改变——2026-06 的”500 步预算下没有任何系统超过 21%“已不成立，长程 Computer Use 从”几乎不可用”进入”多数可完成”；但仍未触及人类水平
• 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA，OSWorld 2.0 评测结果公布——Sol 以 62.6% 二元完成率创下新 SOTA，是此前最佳 Opus 4.8 的 3 倍以上；Terra 50.2%、Luna 45.6% 也远超所有前代模型；GPT-5.6 系列在长程 Computer Use 上实现了从”几乎不可用”到”多数可完成”的质变
• 2026-07-09：OpenAI 通过 GPT-5.6 在 OSWorld 2.0 上展示了”系统级 Agent 能力”——Sol 的 62.6% 远超 Anthropic (Opus 4.8 20.6%) 和 Google (Gemini 未公开数据)，在长程 GUI Agent 维度上建立了持续领先
• 2026-07-18：BenchLM 更新 OSWorld 2.0 排行榜至 12 模型——GPT-5.6 Sol 62.6% / Terra 50.2% / Luna 45.6% 独霸 Top 3，Claude 系列（Opus 4.8 20.6% Binary）差距扩大至 3×；Muse Spark 1.1 以 14.2% 标志 Meta 首次进入 Computer Use 评测
• 关键趋势：OSWorld 2.0 上 GPT-5.6 Sol 的 3× 突破说明长程 Computer Use Agent 的瓶颈不仅是模型能力，也在于”系统级工程”（工具调用优化、状态管理、错误恢复策略）；OpenAI 在长程 Agent 上建立了”模型 + 框架”一体化优势；基准 saturation 从”深未饱和”跳至”中等未饱和”，距离人类水平仍有 30pp+ 空间

与 OSWorld 1.0 的差异

局限性

• 108 任务规模对统计置信度仍偏小
• 21 子类别分布不均，文档准备/工程/金融占大头，医疗 / 法律偏少
• 500 步预算对真实工作流仍偏短（人类 1.6 小时可能需要 1000+ 步）
• 31 个自托管网站无法完全代表真实互联网
• 安全报告是”独立”的但仍由同一团队审计，存在视角偏向
• 当前评测主要在 Ubuntu，Windows / macOS 评测待补

关联基准

• OSWorld：前代短程版本（2024）
• OSWorld-Verified：人工验证子集
• OSWorld-MCP：MCP 协议版本
• AndroidWorld：移动端对应
• Windows Agent Arena：Windows 平台
• GAIA：通用助手任务（多步但不长程）
• InferenceBench：ML 系统工程 Agent（不同决策类）

不足与展望

• 长程任务的成功率突破需要 Agent 架构创新（planner-executor 分离 / 记忆模块 / 自我反思），仅靠模型升级难有量变
• 安全风险需要更严格的监管框架，避免”UI-bypass 越权”成为新攻击面
• 真实部署中 Agent 还需要与人类协作（中间确认 / 异常中断），OSWorld 2.0 当前评测假设 Agent 完全自主
• 未来可能扩展到 1 天 / 1 周任务，对应”长期任务管理”评测