为什么重要
BackendForge 填补了 AI 代码生成评测中的一个关键空白：后端服务的端到端生成能力。现有代码基准主要关注算法实现（HumanEval、LiveCodeBench）或代码仓库修复（SWE-bench），但很少有评测关注 Agent 是否能够从一份 API 规范出发，生成一个可部署、行为正确的完整后端服务。
BackendForge 的核心设计选择使其成为独特的评测工具：
- 确定性验证：通过 HTTP 黑盒测试验证部署后的服务行为，而非依赖 LLM-as-judge 或启发式规则
- 协同演化预言：使用测试 Agent 和代码 Agent 协同演化来加固测试预言，从”基础预言”到”最终预言”四个阶段逐步提升评测严格度
- 部署即评测：Agent 必须生成 Docker 化的服务，经过构建、部署、HTTP 测试三步验证，最接近真实 DevOps 流程
- OpenAPI 合约驱动：给定可见的规范说明和 OpenAPI 合约，Agent 必须理解 API 语义并正确实现
构建方式
- 任务来源：从真实开源应用中提取 56 个后端服务任务，每个任务包含 OpenAPI 合约和自然语言规范说明
- 测试预言构建（四阶段）：
- Base Oracle：参考实现的基本测试套件
- +R1：测试 Agent 提出的补充测试（经人工审核）
- +R2：更多补充测试
- Final Oracle：合并所有通过审核的协同演化测试项
- 评测流程：Agent 读取规范 + OpenAPI 合约 → 生成 Dockerized 服务 → 构建部署 → 仅通过 HTTP 测试验证
关键发现
- 基础预言与最终预言差距巨大：GPT-5.5（xhigh）从基础 55.4% 跌至最终 28.6%（-48%），Opus 4.7（max）从 58.9% 跌至 17.9%（-70%）——简单的测试不难通过，全面的测试暴露严重缺陷
- GPT-5.5 在严格测试下反超 Opus 4.7：基础预言 Opus 4.7 领先 3.5pp，但最终预言 GPT-5.5 反超 10.7pp（28.6% vs 17.9%），说明 GPT-5.5 生成的代码更全面健壮
- 大多数模型在最终预言下接近归零：Qwen 3.6 Plus/DeepSeek V4 Flash/Hunyuan Hy3/MiniMax M2.7 在最终预言下均为 0%——能通过基础测试不代表能通过严格测试
- 成本与成功率反直觉：DeepSeek V4 Flash（max）成本仅 $0.04/任务但 0% 成功率，“更便宜”不等于”更好”
- 后端服务生成仍是重大挑战：没有模型在最终预言下超过 30% 成功率，后端服务生成远比代码补全或 Bug 修复困难
局限性
- 仅 56 个任务，样本量偏小
- 目前仅覆盖 RESTful API 风格的后端服务
- 协同演化预言可能引入测试 Agent 的自身偏见
- 未测试数据库交互、消息队列等后端基础设施集成