为什么重要
GUI Agent 在过去两年里横扫了通用软件场景——网页浏览、桌面操作、合成环境，OSWorld 一类基准上的成功率已经超过 70%。但这些软件有一个共同点：它们在预训练数据里到处都是。菜单长什么样、按钮叫什么、下一步点哪里，模型见得太多了。
材料科学的专业软件是完全不同的另一回事。MatToolBench 的摘要把难点列得很清楚：领域网页数据稀疏、界面高度专业化、工作流存在大量不成文的约定。具体来说，这些软件普遍具备三个特征：
- 工具生态高度碎片化。论文调查了 25 名材料学研究生，不同研究方向对应的是完全不同的软件集合，运行环境与交互界面互不通用。
- 跨工具产物交接。一条完整的 XRD 分析需要在 JADE 里处理原始数据，再切到 OriginPro 里绘图和标注，中间要保住文件、路径和科学含义。
- 无障碍接口严重缺失。信息密度极高的界面、深度嵌套的菜单层级、关键操作状态只有隐式反馈——既没有统一的 accessibility 元数据，也没有网页 Agent 依赖的 alt-text。
MatToolBench 是第一个在真实环境里评测多模态 Agent 操作材料科学专业软件的基准，而且它同时覆盖了三种交互模态：GUI 桌面操作、OriginPro 脚本（GUI + 代码的混合形态）、以及基于 Python 的数据库 API 查询。全部跑在同一台 Windows 11 虚拟机里。
构建方式
环境。 两层结构：外层是 Linux Docker 容器，承载 Agent 逻辑、截图采集与评测服务；内层是 1920×1080 的 Windows 11 虚拟机，预装全部目标软件，每个领域有独立的 Python venv。VM 里跑一个 Flask 服务作为唯一控制接口，外部 API 调用经由 tinyproxy 转发。大规模实验在 Azure ML 的 Standard_D8_v3 实例上完成。
任务形式化。 执行被建模成 POMDP。每一步 Agent 收到观察（截图或执行反馈），采取动作，环境转移。终止条件三种：DONE（Agent 声明成功）、FAIL（Agent 声明不可行）、步数预算耗尽（默认 50 步）。另外提供 WAIT 动作应对慢速 GUI 响应。
观察空间。 GUI 与 Origin 任务给全桌面截图（1920×1080）+ 前台窗口元数据 + 剪贴板内容；代码任务只给文本执行反馈（stdout、stderr、返回码），完全没有视觉信号。论文明确说明选截图而非 accessibility 树的原因——科学遗留软件的无障碍元数据往往不完整甚至根本不存在，截图是唯一可移植的接口。
动作空间。 GUI 用分层的 Computer 接口，五个子模块：Mouse（坐标点击、滚动、拖拽）、Keyboard、Clipboard、OS（启动程序）、WindowManager（模糊匹配切换应用）。动作以 Python 代码字符串下发，在 VM 上 exec() 执行。代码任务是写完整脚本—执行—看反馈的自纠错循环；Origin 任务则通过剪贴板粘贴把脚本注入 OriginPro 的 Code Builder 再按 F5，把代码生成和 GUI 导航缝在一起。
子标准评分。 这是本基准最值得抄的设计。每道题被拆成若干条独立可验证的评分子标准，评测结束时逐条独立打分，形成一个细粒度分数向量。题目得分 = 满足的子标准比例；只有全部子标准都满足才记 SR = 1。难度分层也挂在这个设计上：GUI 任务按子标准条数分档，Easy 1–3 条、Medium 4 条、Hard 5–7 条。
好处是它把”失败在哪一步”保留了下来。后面会看到，正是这个设计暴露出了本基准最重要的那个结论。
评测可信度。 GUI 结果用 OCR 或像素分析抽取，并对每个领域做 n×n 交叉评测矩阵（n=20）：每个终态都被拿去和同领域的所有任务配置比对，同时测量命中检测与跨任务假阳性。结果（Score 口径 F1 / SR 口径 F1）：
| 领域 | Score F1 | SR F1 |
|---|---|---|
| JADE | 0.99 | 1.00 |
| MS | 0.99 | 1.00 |
| Avantage | 0.98 | 0.99 |
| VESTA | 0.97 | 0.97 |
| DM | 0.96 | 0.99 |
平均 F1 0.98。DM 那一行是用了附录里描述的过滤审计之后的结果——论文主动披露了它剔除了不具判别性的 getter，而不是默默调参。
Origin 的美学评判是次要指标，不进 SR：先用确定性的文件存在性检查确认图有没有导出到指定路径，再让 LLM 打分评估正确性、完整度和美观度。四个 judge 在 20 个人类评分条件和 43 张生成图上做验证，Qwen3-VL-235B 的 Pearson 相关略高于 Gemini-3.1-pro，但 Williams 依赖相关检验显示差异不显著（Δr = 0.043，t = 0.582，p = 0.569）；因为 Qwen 打分更容易饱和，最终选了更保守的 Gemini-3.1-pro。
关键发现
一、通用基准上的强势表现完全不迁移
论文给的数字很直白：最好的模型 GUI 成功率只有 25.0%，代码 45.0%。对照 OSWorld 一类通用桌面基准上 70%+ 的报告成绩，落差在 45 个百分点量级。
论文自己也承认这个外部对比是”非受控的诊断性比较”（附录 Q），所以不能当成严格的迁移差距证明。但基准内部的证据是受控的，而且方向一致。
二、Score 与 SR 之间的鸿沟是本基准最重要的读数
所有 GUI 领域上都存在同一个模式：Score 约 50%，SR 约 20%。也就是说模型确实完成了大约一半的中间要求，却极少在同一次运行里把它们全部串起来。
以 Doubao seed-1-8 在 JADE 上为例：Score 54.2、SR 25.0。VESTA 上 GPT-5.4 是 Score 65.2、SR 20.0——完成了三分之二的检查点，真正跑通整条工作流的只有五分之一。
这条数据是本基准存在的理由。如果只报二元成功率，你会得出”模型完全不行”；如果只报部分分，你会得出”模型已经做了一半”。两个都不对，正确的是第三个：模型能走到中途，但走不到终点。而”为什么走不到终点”，正是部分给分机制要回答的问题。
三、难度分布极不均匀，且不均匀的原因可解释
| 领域 | 最好的模型 | 表现 |
|---|---|---|
| OPTIMADE（代码） | GPT-5.4 | 85.0% SR |
| Origin（混合） | GPT-5.4 | 68.8% SR |
| DM（GUI） | 三家并列 | 20.0% SR，无模型超过 |
| MS（GUI） | GPT-5.4 | 30.0% SR，跨模型平均最低 |
| MP（代码） | — | 仅 10–25% SR |
两端的解释论文都给了。OPTIMADE 高是因为它的查询语法文档齐全、标准化程度高，且评测只要求发出合法查询并保存合法输出值（不强匹配单一 gold 文件——因为不同 provider 可以返回多个合法结果）。DM 低是因为界面密集、操作反馈隐式。VESTA 和 JADE 相对高一些，是因为这两个软件的状态变化有更明确的视觉确认。
OPTIMADE 这一行很重要：它是一个阳性对照，证明这套 harness 并不是 uniformly 难——同样的框架、同样的 50 步预算，有文档、有标准的接口能拿到 85%。
四、工作流提示决定成败，且只在”约定小众或不稳定”时起作用
消融（Doubao seed-1-8 与 GPT-5.4）拆的是领域专用工作流提示：
- JADE：Doubao 从 25.0% 掉到 5.0%；DM 从 20.0% 掉到 0.0%。失败点是两个特定的启动陷阱——JADE 会弹一个参考图谱对话框挡住任务文件的加载，DM 启动时的浮动面板会遮住待验证的文件名。
- MP：GPT-5.4 从 15.0% 掉到 0.0%。原因是代码 Agent 的提示里带了 one-shot API 用法示例，去掉之后模型得凭记忆重建库约定。
- OPTIMADE：两个模型几乎不变（Doubao 70% → 70%，GPT-5.4 85% → 75%）。
最后一条是关键的对照组：提示只在工具约定小众或不稳定的时候才有用。标准化程度足够高的接口，预训练已经覆盖了，提示是多余的。
Origin 的三档消融（Claude Sonnet 4.6）更夸张：确定性成功点从 9 降到 8 再降到 3（降 67%），美学分 8 → 5 → 2.2，合计总分从 17/32（53%）掉到 5.2/32（16%）。原因是标准工作流要求用 Alt+4 打开 OriginPro 内置的 Code Builder 再执行 Python 脚本；把提示也去掉之后，Agent 往往会退化成纯 GUI 探索。
这一条与 KaliBench 的三模式、CompMat-Bench 的 2×2 网格是同一个现象的第三个观测：基准里”给多少提示”这个被钉死的常量，实际上能把分数移动几十个百分点。
五、失败模式：四类，其中两类与能力无关
轨迹检查识别出四类反复出现的失败：GUI grounding 错误、过早终止、死锁循环、领域知识缺口。
效率数据把”过早终止”量化了：GUI 任务平均耗 35–42 步（满分 50），而假终止率（FTR，Agent 主动宣布完成但 SR = 0 的比例）高达 40–70%。作为对照，代码任务只用 1–4 步——因为每步就是一次完整脚本执行。
40–70% 的 FTR 意味着：GUI 任务里有将近一半的失败，是模型以为自己做好了，而不是做不好。
六、Origin 任务的分层最陡，且是二值的
Origin 任务呈现最极端的分化：GPT-5.4 68.8%，Claude sonnet-4.6 56.3%，其余全部低于 25%，Qwen 系列最高 6.3%，Qwen3-VL-8B 是 0%。
论文观察到中档模型（Kimi k2.5 25.0%、Doubao 12.5%）的结果基本是二值的——要么跑通要么归零，说明失败集中在脚本执行而不是视觉评判。这与它把美学 judge 排除出 SR 的设计是一致的：先把”图有没有生成出来”这个问题钉死，再谈好不好看。
七、小模型在代码任务上塌得比 GUI 更狠
Qwen3-VL-32B 和 8B 在 GUI 上分数还算说得过去（平均 Score 25.1 / 29.1），但在代码任务上大幅落后（Code Avg Score 20.2 / 13.4）。论文的解释是：可靠的科学 API 使用需要更深的专业领域知识，而它的规模规律与通用 GUI 交互不同。
换句话说，GUI 操作能力与科学 API 使用能力是两条不同的曲线，同一个模型在两条曲线上的相对位置可以不一致。
如何读这份榜单
- topResults 按 Overall Avg 的 SR 降序，同一格附 Score。Overall Avg 是 GUI（5 领域）、Origin（1）、Code（4）、Mixed（8 题）四类平均后的总平均，其中 Mixed 只作诊断行不计入排名依据。
- 三个模态的难度不可比：Code 的 SR 天然高于 GUI，因为代码任务每题只有 1 个子标准（80 题 80 条），而 GUI 每题 2.95–4.10 条。SR 是”全部子标准满足”，子标准越多越难全中——跨模态比 SR 之前先看子标准条数。
- 七款模型都是上一代前沿（GPT-5.4、Claude sonnet-4.6、Kimi k2.5、Doubao seed-1-8、Qwen3-VL 系列），本基准发布时未包含更新的模型，因此绝对分低有一部分来自模型代际，不代表当前前沿的真实水平。
- 每集都从重置的 VM 状态起步，这是为了压低 GUI 评测的 run-to-run 波动。引用单次运行时注意它带 ±3 量级的置信区间（见各表的误差标注）。
- 完整复现需要五个商业软件的付费许可，这不是代码不开源，而是目标软件本身的性质决定的。
局限
论文在附录 R 列出了限制，其中三条值得单独说：
第一，没有人类专家基线。这是最要紧的一条。论文自己的失败分析显示，相当一部分失败是 harness 造成的：JADE 那个会死锁文件加载的参考图谱对话框、DM 那个会遮住文件名的浮动面板、VM 里没有 PDF 打印机导致拟合完成却在导出环节失败。作者甚至为这些陷阱专门写了提示——他们知道坑在哪，但没有证明一个熟练操作员能绕过去。“领域操作知识缺失”与”这套 harness 对任何操作者都难”这两个解释目前是混淆的。
第二，代码领域的分域结果每格只有 20 题且未给置信区间，部分模型间的差异落在采样噪声范围内。
第三，跨工具 Mixed 只有 8 题，论文明确声明只作诊断行、不作排名依据。它的分数偏高是因为代码优先的工作流能靠产出可验证的中间文件拿到部分分，而一旦 GUI 导出的产物无法被下游工具定位或解析，SR 就掉下来。
此外还有一条来自论文本身数据之外的提醒：本卡的分数全部来自 2026 年 9 月的一次评测切片，其中 GPT-5.4 与 Claude sonnet-4.6 在基准发布时已非最新旗舰，读到 25% 这个数字时请连同模型代际一起读。