为什么重要
Vibe Code Bench 是首个系统评估 AI 从零构建完整 Web 应用的基准。现有代码基准（如 SWE-bench、HumanEval）关注局部任务——修一个 bug、补一个函数——但真实开发是从需求到部署的”零到一”过程。Vibe Code Bench 直接测试这个端到端流程，揭示了”能修 bug ≠ 能造应用”的核心差距。
构建方式
- 100 个 Web 应用规范：50 个公开验证集 + 50 个隐藏测试集，涵盖多种 Web 应用类型
- 真实服务集成：任务要求使用 Supabase（数据库）、Stripe（支付测试模式）、邮件、浏览和文件编辑等真实服务
- 浏览器自动化评估：通过自主浏览器 Agent 对部署后的应用进行功能验证，而非简单的单元测试
- 三维度评估：准确率（功能完整性与正确性）、成本/测试（API 调用费用）、延迟（开发耗时）
- 评估者对齐研究：完成人类对齐研究，31.8-93.6% 的配对步骤级一致性，表明评估者选择对结果有实质影响
关键发现
- 最佳模型仅 71%：Claude Opus 4.7 以 71.00% 领先，意味着近 30% 的端到端开发任务仍无法完成
- 自测试是强预测因子：生成过程中的自测试行为与最终成绩高度相关（Pearson r=0.72）
- 成本差距悬殊：DeepSeek V4 以 $15.10/测试的成本达到 49.93%，而 Opus 4.7 需 $147/测试
- 评估者偏差显著：不同评估方法下成绩差异可达 20+ 百分点，需谨慎解读跨基准对比
- 闭源模型领先：Top 8 全部为闭源或 API 模型，开源权重模型最佳为 DeepSeek V4 (49.93%)
- 思考模式不总更好：Opus 4.6 Nonthinking (57.57%) 略优于 Thinking (53.50%)，暗示在应用开发场景中过度思考可能引入复杂性
最新进展
- 2026-05-29：Claude Opus 4.8 发布，系统卡显示 SWE-bench Pro 69.2%/Verified 88.6%/OSWorld 83.4%/HLE (tools) 57.9%，端到端开发能力预期进一步提升
- 2026-05：BenchLM 排行榜扩展至 44 个模型，Claude Opus 4.7 以 71.00% 保持领先
- 2026-04：GPT-5.5 发布后即达 69.85%，与 Opus 4.7 差距仅 1.15%，前端应用开发模型竞争白热化
- 2026-04：DeepSeek V4 以 $15.10/测试的极低成本达 49.93%，性价比最高
- 关键趋势：vibe coding 从实验走向生产，但端到端应用开发仍远未解决
关联基准
- SWE-bench Pro：仓库级 bug 修复
- Web-Bench：前端代码基准
- ProgramBench：从零构建软件系统
- SWE-WebDevBench：全栈平台级评估
不足与展望
- 非开源免费，仅限合作机构使用 Vals AI 私有数据集
- 评估依赖自动化浏览器 Agent，可能存在环境差异
- 100 个应用规范偏少，覆盖面有限
- 不评估迭代修改能力（只测从零构建）
- 未来需关注是否会出现开源替代版本