为什么重要
VibeCodingBench 是首个含安全门槛的生产级代码生成基准。现有基准测试模型能否”写出能运行的代码”，但忽略了两个关键问题：代码安全吗？成本合理吗？VibeCodingBench 直接解决这两个盲区：
- 安全门控：任何 OWASP Top 10 漏洞 = 自动零分，一票否决
- 成本效率：不是只看准确率，而是功能-成本-速度的多目标优化
- 真实开发场景：180 个任务覆盖 SaaS 功能、API 集成、前端、代码演化等日常开发工作
- Top 10 模型差距仅 2pp：87.4%–89.2%，前端模型在真实任务上高度收敛
构建方式
任务设计
6 大类生产级任务：
| 类别 | 说明 | 示例 |
|---|---|---|
| SaaS Features | 用户管理、权限、通知系统 | ”添加用户邀请功能” |
| Glue Code | 第三方 API 集成、数据转换 | ”对接 Stripe 支付回调” |
| AI Integration | LLM/嵌入 API 调用、RAG | ”添加文档问答功能” |
| Frontend | UI 组件、响应式布局 | ”实现可筛选数据表格” |
| API Integrations | REST/GraphQL 端点设计 | ”创建批量操作 API” |
| Code Evolution | 重构、迁移、功能增强 | ”将 REST 迁移到 GraphQL” |
评分体系
| 维度 | 权重 | 说明 |
|---|---|---|
| Functional | 40% | 代码是否正确运行、通过测试 |
| Visual | 20% | UI 是否符合要求、视觉一致性 |
| Quality | 20% | 代码质量、可维护性、最佳实践 |
| Cost Penalty | 负向 | API 调用成本惩罚 |
| Speed Penalty | 负向 | 开发耗时惩罚 |
| Security Gate | 一票否决 | OWASP Top 10 漏洞 = 零分 |
抗污染措施
- 任务从常见模式合成，非提取自现有仓库
- 模板变化：每个任务可有不同命名、结构和需求
- 时序新鲜度：训练截止后可添加新任务
- 私有测试套件：完整测试实现不公开
关键发现
- 头部模型高度收敛：Top 10 模型在 87.4%–89.2% 之间，差距仅 1.8pp，表明前沿模型在生产编码任务上能力趋同
- 成本差异 60 倍：Grok 4 Fast ($0.21) 与 GPT-5.2 ($5.01) 分数相同，成本差 24 倍；Haiku 4.5 ($3.03) 接近 Opus 4.5 ($12.31) 的质量
- 安全门控是有效过滤器：部分模型因安全漏洞被直接归零
- 小模型性价比突出：Haiku 4.5 以 1/4 的成本达到 Opus 4.5 的 99.8% 水平
- 中国模型表现稳健：GLM 4-Plus ($0.93) 和 DeepSeek v3.2 ($0.50) 在低成本下达到 88.2%
最新进展
- 2026-01：首次发布 15 个前沿模型评测结果，Claude Opus 4.5 以 89.2% 领先
- 关键洞察：生产级代码生成已接近饱和，但成本效率差距巨大——选择模型时应优先考虑性价比而非微小精度差异
- 待更新：尚无 Claude Opus 4.7/4.8、Gemini 3.1 Pro、GPT-5.4/5.5 等最新模型评测数据
关联基准
- Vibe Code Bench：Vals AI 端到端 Web 应用评测
- SWE-bench Pro：仓库级 bug 修复
- Web-Bench：前端代码基准
- Aider Benchmark：代码编辑能力评测
不足与展望
- 初始评测仅 15 个模型，覆盖面待扩展
- 180 个任务规模偏小，可能无法充分区分模型
- 安全门控目前仅检查 OWASP Top 10，可扩展更多安全维度
- 成本计算基于 API 定价，可能随定价变化失效
- 未来需添加更多最新模型的评测结果