返回评测
Agent Agent-编码 未饱和 模态 · 代码 任务 · 执行验证 arXiv preprint

Tencent WorkBuddy Bench

腾讯 WorkBuddy 团队联合安全实验室推出的多领域 coding agent 评测套件,覆盖 Code/Web/Office/Security 四域 260 任务,逆向工程构造抗污染、完全开源可审计

腾讯(Youtu Lab / Keen Security Lab / Workbuddy / Yunding Security Lab) ·

考察能力

代码生成 前端开发 办公工作流 安全红蓝对抗 多领域 Agent 工具调用

构建信息

数据规模
260 tasks(Code 80 + Web 70 + Office 50 + Security 60)
构建方式
从真实 commit/PR/业务场景逆向工程改写为口语化角色扮演请求,抗网络搜索污染;数据集开源可审计
评测方式
双工具链(CodeBuddy Code / Claude Code)统一隔离沙箱执行,各子集独立评分工具
核心指标
子集内任务完成率(不报告跨子集平均分)

模型效果排行

🥇 GPT-5.5(Office 赛道,一套 harness)
86.05% 2026-07
🥈 HY-3 混元(Office 赛道,另一 harness)
82.08% 2026-07
🥉 GLM-5.2(Security 赛道,两 harness 均第一)
80.86% 2026-07
4. GPT-5.5(Security 赛道)
77.91% 2026-07
5. GLM-5.2(Security 赛道,另一 harness)
76.32% 2026-07
6. Claude Opus 4.8(Security 赛道)
65.87% 2026-07

为什么重要

Tencent WorkBuddy Bench 是腾讯 WorkBuddy 团队联合 Youtu Lab、Keen Security Lab、Yunding Security Lab 于 2026 年 7 月公开的多领域 coding agent 评测套件。它直击当下编码基准的两个痛点:

  1. 污染问题:市面主流编码基准的题目本身能在网上搜到答案,模型可能”背题”过关。
  2. 分布不可审计:部分厂商从自家用户会话抽题,分布贴近实际但闭源,外部无法检查是否存在选题偏向。

WorkBuddy Bench 的对策是”逆向工程 + 完全开源”:任务从真实 commit、PR、业务场景逆向改写为口语化角色扮演请求,改写后拿描述去搜索引擎搜不到原始出处;同时数据集(任务目录、环境镜像、评测 harness、测试、参考答案)全部开源,抗污染靠”构造方式 + 版本管理”而非保密。

构建方式

四域任务设计

  • Code(80 题):丢进 Django/Flask/pytest 等真实开源仓库,模型自己找文件、改代码,用隐藏测试打分。修 bug 只占 10 道,其余 70 道是做功能、写测试、算法、数据分析。每道题带角色(开发者/算法工程师/PM/QA/运维),模拟真实同事发消息。
  • Web/前端(70 题):每道题有”必须交付能跑的东西”的硬约束,自动化评测实际点按钮、检查交互、刷新后数据是否还在。从零搭建占一半,另一半是改已有页面、写回归测试、格式转换。
  • Office(50 题):混合文件工作区(表格/PDF/JSON/Markdown),读多文件产出交付物,评测还检查关联文件是否更新、有无副作用。
  • Security(60 题):红蓝兼顾——38 攻击方(审计真实漏洞/二进制利用/Web 攻击/AI Agent 安全评估)+ 22 防御方(恶意软件分析/安全运营告警分析)。全程确定性程序打分,不用 LLM 裁判,五层反作弊。

评分协议

统一任务目录格式,隔离沙箱容器运行,两个 harness(CodeBuddy Code / Claude Code)统一协议复跑。关键约束:每个子集用不同评分工具,分数不能跨子集比较,套件也不报告 suite-wide 平均分。

关键发现

  1. 没有全能冠军:7 个模型 × 2 套 harness 跑出 8 张成绩单,没有任何一个模型在所有赛道领先。
  2. 领域分化明显:Claude Opus 4.8 在 Code 和 Web 赛道领先;GPT-5.5 在 Office 赛道一套 harness 拿下 86.05% 最高分;GLM-5.2 在 Security 赛道两套 harness 均第一(80.86%)。
  3. harness 效应显著:换一套执行环境排名就会变——代码赛道 GPT-5.5 与 GLM-5.2 在两套 harness 下排名颠倒,说明”选模型”必须和”用什么工具跑”绑定。
  4. 开源模型安全赛道反超闭源:GLM-5.2 以 80.86% 力压 GPT-5.5(77.91%)和 Claude Opus 4.8(65.87%)。

局限性与展望

  • 代码赛道以 Python 为主,跨语言覆盖有限
  • Office 赛道不涉及 OCR 和 GUI 操作
  • Claude Opus 4.8 代码赛道有一组使用了修改过的指令配置,与其他模型跑法不完全一致
  • 新颖设计(多域 + 抗污染 + 全开源)使其有潜力成为 Agent 场景化选型的参照,但单厂商背景与尚无第三方独立验证是主要顾虑

关联基准

参考链接

Agent 多领域 代码 安全 抗污染 腾讯 工具调用