为什么重要
Tencent WorkBuddy Bench 是腾讯 WorkBuddy 团队联合 Youtu Lab、Keen Security Lab、Yunding Security Lab 于 2026 年 7 月公开的多领域 coding agent 评测套件。它直击当下编码基准的两个痛点:
- 污染问题:市面主流编码基准的题目本身能在网上搜到答案,模型可能”背题”过关。
- 分布不可审计:部分厂商从自家用户会话抽题,分布贴近实际但闭源,外部无法检查是否存在选题偏向。
WorkBuddy Bench 的对策是”逆向工程 + 完全开源”:任务从真实 commit、PR、业务场景逆向改写为口语化角色扮演请求,改写后拿描述去搜索引擎搜不到原始出处;同时数据集(任务目录、环境镜像、评测 harness、测试、参考答案)全部开源,抗污染靠”构造方式 + 版本管理”而非保密。
构建方式
四域任务设计
- Code(80 题):丢进 Django/Flask/pytest 等真实开源仓库,模型自己找文件、改代码,用隐藏测试打分。修 bug 只占 10 道,其余 70 道是做功能、写测试、算法、数据分析。每道题带角色(开发者/算法工程师/PM/QA/运维),模拟真实同事发消息。
- Web/前端(70 题):每道题有”必须交付能跑的东西”的硬约束,自动化评测实际点按钮、检查交互、刷新后数据是否还在。从零搭建占一半,另一半是改已有页面、写回归测试、格式转换。
- Office(50 题):混合文件工作区(表格/PDF/JSON/Markdown),读多文件产出交付物,评测还检查关联文件是否更新、有无副作用。
- Security(60 题):红蓝兼顾——38 攻击方(审计真实漏洞/二进制利用/Web 攻击/AI Agent 安全评估)+ 22 防御方(恶意软件分析/安全运营告警分析)。全程确定性程序打分,不用 LLM 裁判,五层反作弊。
评分协议
统一任务目录格式,隔离沙箱容器运行,两个 harness(CodeBuddy Code / Claude Code)统一协议复跑。关键约束:每个子集用不同评分工具,分数不能跨子集比较,套件也不报告 suite-wide 平均分。
关键发现
- 没有全能冠军:7 个模型 × 2 套 harness 跑出 8 张成绩单,没有任何一个模型在所有赛道领先。
- 领域分化明显:Claude Opus 4.8 在 Code 和 Web 赛道领先;GPT-5.5 在 Office 赛道一套 harness 拿下 86.05% 最高分;GLM-5.2 在 Security 赛道两套 harness 均第一(80.86%)。
- harness 效应显著:换一套执行环境排名就会变——代码赛道 GPT-5.5 与 GLM-5.2 在两套 harness 下排名颠倒,说明”选模型”必须和”用什么工具跑”绑定。
- 开源模型安全赛道反超闭源:GLM-5.2 以 80.86% 力压 GPT-5.5(77.91%)和 Claude Opus 4.8(65.87%)。
局限性与展望
- 代码赛道以 Python 为主,跨语言覆盖有限
- Office 赛道不涉及 OCR 和 GUI 操作
- Claude Opus 4.8 代码赛道有一组使用了修改过的指令配置,与其他模型跑法不完全一致
- 新颖设计(多域 + 抗污染 + 全开源)使其有潜力成为 Agent 场景化选型的参照,但单厂商背景与尚无第三方独立验证是主要顾虑
关联基准
- SWE-bench Pro:仓库级 Issue 修复
- SWE-RPG:需求澄清/规划/代码生成三层诊断
- Terminal-Bench 2.0:终端 Agent