为什么重要
VISTA 标志着 AI 评测范式的一次根本转向：从”谁更会写代码”到”谁更会开发产品”。传统代码基准（SWE-bench、HumanEval）评估的是代码仓库维护和算法实现，但真实软件开发通常始于产品需求文档和 Figma 设计稿——开发者需要从零构建完整、可运行、具有真实交互能力的 Web 应用。
VISTA 的核心价值在于：
- 端到端产品开发：Agent 不只是生成 HTML，而是需要完成页面导航、状态管理、交互逻辑、应用部署等完整开发任务
- 视觉规约驱动：除自然语言需求外，同时提供网页截图和裁剪后的 Figma 结构信息，使 Agent 能真正理解产品设计
- 持续更新：不同于论文发布后即停止维护的基准，VISTA 设计为 Living Benchmark，随 Claude Code、Codex、Cursor、Gemini 等模型及 Harness 持续刷新排行榜
- 多维评估：同时衡量质量（Quality）、效率（Speed）、成本（Cost），帮助从工程角度评估 AI 软件工程师
构建方式
- 数据来源：以 Figma 设计稿为起点（而非真实网页），避免训练数据污染。Figma 渲染截图和结构化 JSON 共同作为 Ground Truth
- 覆盖范围：10 类典型 Web 应用——新闻、房产、招聘、论坛、旅行预订、聊天、云存储、电商、项目管理和音乐流媒体
- 标注规模：128 个页面、3253 个可交互组件、458 个视觉锚点（Visual Anchors），所有标注均为细粒度人工标注
- 5 种信息条件：
- C0：纯文本 + 自由技术栈
- C1：文本 + 截图 + 3 种指定技术栈
- C2：文本 + 截图 + 自由技术栈
- C3：文本 + 截图 + 裁剪 Figma JSON + 单一指定技术栈
- C4：文本 + 截图 + 裁剪 Figma JSON + 自由技术栈
- 评测流程：Agent 生成代码 → Docker 部署 → 对每个标注的 UI 锚点匹配 DOM 元素 → 计算定位分 L（IoU/距离误差）和行为分 B（交互特定浏览器检查）
关键发现
- 系统性竞争取代模型竞争：排行榜上的评测对象是”模型 × Harness”组合，同一模型在不同 Harness 下表现差异显著，工作流设计和工具调用策略已成为影响软件开发能力的重要因素
- 最高得分仍不足 0.3：Fable 5 虽排名第一，但综合得分远未接近满分 1.0，AI 距离稳定完成真实产品开发仍有很大空间
- 工程风格分化：Fable 5 平均每任务消耗约 75 万 tokens（以高计算开销换质量），GLM-5.2 仅约 30 万，GPT-5.5 约 28 万——不同模型在”质量 vs 成本”上形成明显取舍
- 视觉理解是核心瓶颈：C4（含 Figma JSON + 自由栈）条件下得分最高但仍很低，说明视觉规约的精确理解仍是 Coding Agent 的核心短板
- 行为正确性远低于布局还原：Agent 能大致还原页面结构，但实现正确交互行为（导航、输入、弹窗、状态管理）的能力严重不足
最新进展
- 2026-07-06：VISTA 在线排行榜正式发布，Claude Fable 5 (Claude Code 2.1.152) 以 C4 条件约 0.29 综合得分领先，但所有模型得分均低于 0.3
- 2026-07：排行榜持续更新，GPT-5.6 Sol 和 xAI Grok 4.5 尚未被评测，关注后续新增模型数据
局限性
- 当前仅覆盖 Web 应用场景，不涉及移动端或桌面端
- 评测依赖 Docker 部署，对 Agent 的基础设施能力有隐含要求
- Figma 设计稿虽降低污染风险，但可能未充分反映真实开发中需求模糊性
- 仅 10 类应用类别，场景多样性有限