OmniCode 是一个超越传统 Bug 修复的全面软件工程 Agent 基准。它包含四类关键任务——Bug 修复、测试生成、代码审查修复和风格修复——覆盖 Python、Java 和 C++ 三种语言,共计 1794 个经过手工验证的任务。
关键发现是现有编码 Agent(如 SWE-Agent)在 Python Bug 修复上表现尚可,但在 Java/C++ 及测试生成等非传统任务上表现不佳。例如 SWE-Agent 配合 DeepSeek-V3.1 在 Java 测试生成上最高仅 20.9%。部分任务经过合成生成并精心设计以避免数据泄露,确保评测公平性。OmniCode 推动社区关注编码智能体在软件开发全链路(而非仅 Bug 修复)上的能力。