返回评测
代码生成 代码-仓库级 未饱和 模态 · 代码 任务 · 执行验证 Self-published

CodeScaleBench v1 (csb-v1-mixed371 / csb-v2-dual264)

Sourcegraph 出品，275 个真实企业级任务覆盖 13 种语言和百万行代码库，评估 Agent 在大型仓库中的上下文检索与工程能力

Sourcegraph ·

考察能力

代码理解 多仓库导航 上下文检索 安全审查 重构 跨仓库调试

构建信息

数据规模
275 tasks / 20 suites / 9 work types / 13 languages / 28 repo sets
构建方式
从真实企业级仓库（Ansible/Envoy/Istio/Grafana/Linux kernel 等）提取开发任务；公开 task 元数据，私密 verifier；支持 MCP 工具对比
评测方式
双验证器（direct + artifact）+ MCP vs 本地基线对比；按 complexity/language/repo size 分层
核心指标
Mean Reward (0-1)

资源链接

代码: https://github.com/sourcegraph/CodeScaleBench 官网

模型效果排行

🥇 Claude Haiku 4.5 + Sourcegraph MCP (Anthropic, 0.565 mean reward)
0.565 2026-07
🥈 Claude Haiku 4.5 本地基线 (Anthropic, 0.536 mean reward)
0.536 2026-07

为什么重要

CodeScaleBench 解决了一个被大多数编程基准忽视的核心问题：代码生成能力 vs 代码理解能力的分离。传统 SWE-bench 系列基准使用的仓库规模通常较小（数千到数万行），而企业实际生产环境中的代码库动辄数百万行。CodeScaleBench 证明：上下文检索质量直接预测任务成功率——配备高质量代码搜索工具的 Agent 性能远超仅依赖本地文件上下文的 Agent。

更关键的是，CodeScaleBench 首次系统性地评测了 AI Agent 在没有任何本地代码的情况下仅通过 MCP 工具远程探索代码库的能力。这比传统的”给 Agent 一个完整 repo”更接近企业实际场景——开发者在接手陌生代码库时也需要先搜索、阅读、理解，而非一次性加载所有文件。

构建方式

  1. 任务来源：从 Ansible、Envoy、Istio、Grafana、Flipt、Linux kernel 等真实企业级仓库中提取 275 个开发任务
  2. 工作类型：覆盖 9 种开发者日常工作——跨仓库导航（47 任务）、代码理解/新人上手（44）、重构（43）、安全审查（39）、功能实现（34）、调试（26）、Bug 修复（19）、测试编写（12）、文档编写（11）
  3. 语言覆盖：Go、C++、Java、Python、Rust、C#、JavaScript、TypeScript 等 13 种语言
  4. 规模分层：小仓库（<5MB）到超大仓库（>5GB）全覆盖，含 61 个多仓库任务
  5. 双验证器：每个任务使用 direct 和 artifact 两种验证模式
  6. 防污染：任务元数据公开以保证可复现性，但 grading oracles（打分逻辑）完全私密
  7. MCP 对比设计：每个任务同时运行 baseline-local-direct（仅本地文件）和 mcp-remote-direct（通过 Sourcegraph MCP 远程检索）两种配置

关键发现

  • 上下文检索是瓶颈：Haiku 4.5 + MCP（0.565）vs 本地基线（0.536），MCP 工具带来的 0.029 提升虽然看似微小，但在多仓库任务上效果显著
  • 模型能力 vs 检索能力的分离：CodeScaleBench 的数据表明，即使使用较弱的基础模型，配备优质代码检索工具也能获得显著的性能提升
  • 代码理解 ≠ 代码生成：SWE-bench 以代码生成为核心，CodeScaleBench 以代码理解为核心——两者是互补的评测维度
  • 多仓库任务的特殊挑战：61 个多仓库任务要求 Agent 跨仓库追踪依赖关系，这是现有所有 SWE-bench 系列基准未覆盖的能力
  • 企业级代码库的结构性差异：Linux kernel（C，GPL-2.0）、Envoy（C++，Apache-2.0）、Grafana（Go，Apache-2.0）等不同技术栈对 Agent 提出截然不同的挑战

任务示例

跨仓库依赖追踪：在 Ansible Galaxy 集合的 tar 归档提取失败问题中，Agent 需要追踪到上游依赖库的特定提交 安全审查：审查 Istio DestinationRule 更新后 Envoy 路由配置未传播的问题（深度因果链） 故障定位：Linux ACPI 背光控制故障——在内核 5.6.7 版本中定位具体的代码行（expert 级别，1800 秒时限） 回归追踪：Grafana v10.3→v10.4 升级后 Table Panel 渲染失败，需要 Agent 定位迁移脚本中的回归（expert 级别）

最新进展

  • 2026-07-12：Sourcegraph 正式发布 CodeScaleBench，公开 275 个任务的元数据和评测工具。首个官方快照使用 Claude Haiku 4.5 作为基线模型，展示了 MCP 工具在企业级代码库中的价值
  • 关键定位：CodeScaleBench 不是为了替代 SWE-bench Pro，而是与 SWE-bench Pro 形成互补——前者评测”理解大规模代码库的能力”，后者评测”修复具体 Bug 的能力”
  • 2026-07：CodeScaleBench 与 Databricks 的 Pi 接口集成测试显示，同一模型（Opus 4.8）在不同编排层下成本差异可达数倍（Pi 接口下每任务约 $0.74），编排层效率成为企业部署 AI Agent 的关键因子
  • 未来方向：Sourcegraph 计划扩展更多 MCP 提供商对比（不仅限于 Sourcegraph），并增加 Windows/macOS 桌面环境下的评测场景

局限性

  • 当前官方数据仅包含 Haiku 4.5 一个模型的完整评测，缺乏跨模型对比的统计显著性
  • 公开子集中缺少 gold answers（答案 withheld），第三方评测需要依赖 Sourcegraph 的私有 evaluator
  • 275 个任务中 Apache-2.0 许可占多数（267 个），企业专有代码库（如 Scale SEAL 的 private commercial set）的代表性有限
  • MCP vs 本地基线的对比仅在 Sourcegraph MCP 上进行，不同 MCP 工具的效果差异未知
  • 任务时限（1200-1800 秒）与实际开发中”数小时到数天”的企业级任务仍有差距
企业级 多仓库 代码理解 MCP 上下文检索 Sourcegraph