ABC-Bench(Agentic Backend Coding Benchmark)填补了编码基准在后端开发领域的空白。现有基准主要在静态上下文中评估代码逻辑,忽略了实际工程中需要严格环境配置和服务部署的全流程需求。ABC-Bench 要求 AI 智能体完成从代码库探索到实例化容器化服务,再到通过外部端到端 API 测试的完整后端开发生命周期。
基准包含 224 个真实任务,跨越 8 种编程语言和 19 个框架,均从开源仓库精选。采用可扩展的自动化评估管道,核心标准是智能体能否成功配置环境并使服务运行正确。评估结果显示,即使最先进的模型在这些整体性任务上也难以提供可靠性能,凸显了当前模型能力与实际后端工程需求之间的巨大差距。