AI Computer Use 可视化沙盒
观察 AI 如何"看"和"操作"界面——从像素识别到混合工具调用
GUI AGENT · 数据截止 2026-09-07
AI Computer Use 可视化沙盒
观察 AI 如何"看"和"操作"界面——从像素识别到 ACI 哲学；所有 benchmark 数字带溯源分级
Agent 视觉感知器
观察 AI 如何"看"不同桌面界面——从截图到操作的全管线
模拟桌面：文件管理器
检测结果对比
像素级检测 (Claude)像素级
纯视觉：截图→像素分析→猜测 UI 元素
平均置信度（列表型）
69.5%
速度
~3s
DOM 级检测 (UI-TARS)DOM 级
结合 DOM：截图+DOM树→精确元素定位
平均置信度（列表型）
89.7%
速度
~1s
声明式检测 (DMI)声明式
语义优先：利用无障碍树→角色+名称+状态
平均置信度（列表型）
97.3%
速度
~0.3s
🔑 检测管线关键洞察
切到「IDE 编程界面」再看三种方式：像素级的置信度会掉到 0.5 上下，框线还会明显画歪； 声明式始终稳在 0.95 以上，且框上直接给出 role / name 语义标签—— 这就是「零坐标依赖」能在界面变化时扛住的原因，而不是靠某个更高的准确率数字。
这里的置信度是教学模型（待核实）：按「场景类型增益 × 元素基础置信度」算出， 用于讲清相对差异，不代表任何一款产品的实测精度。
数据截止 2026-09-07·OSWorld 官方榜 26 条记录·榜首 86%
一手来源：OSWorld 官方榜 · SWE-bench Verified（二手聚合）
2026-09-07 换血：移除 60 个无法回源的 benchmark 分数；补上 OSWorld 三个口径的区分； 置信度改为真算；范式对决加扰动开关；修复收尾定时器泄漏与假贝塞尔曲线。