为什么重要
WildClawBench 是 2026 年 5 月由上海人工智能实验室 InternLM 团队联合港中文、复旦、中科大、清华、浙大、南洋理工等多所高校发布的 Agent 评测基准，代表了评测范式从”模拟沙盒”向”原生运行时”的第三代跃迁。其核心突破在于：
- 原生运行时环境：不再使用模拟服务 API 或合成沙盒，而是将 Agent 直接放进配备真实浏览器、终端、文件系统和日历的 Docker 容器中，要求完成端到端的长期工作流
- 框架效应量化：首次系统性地揭示工具框架对 Agent 能力的巨大影响——仅更换框架（OpenClaw vs Claude Code vs Codex vs Hermes Agent），同一模型得分波动高达 18 个百分点
- 数据零泄露：评分用的标准答案和评分脚本在 Agent 执行结束后才注入容器，从根本上杜绝数据泄露
- 天花板极低：SOTA 模型 Claude Opus 4.7 在 OpenClaw 框架下仅 62.2%，其余模型均低于 60%，区分度极高
这对 Agent 评测领域意义深远——如果同一个模型换一个工具框架分数就差 18pp，那么任何不考虑框架的 Agent 排行榜都是有偏的。
构建方式
WildClawBench 的构建方法从四个维度突破了现有 Agent 基准的局限：
1. 原生运行时而非模拟服务
每项任务运行在独立 Docker 容器中，内含完整的 CLI Agent 框架（OpenClaw、Claude Code、Codex 或 Hermes Agent），提供真实的浏览器、终端、文件系统、日历等工具。Agent 需要像真实助手一样操作这些工具，而非调用模拟 API。
2. 六大任务类别
60 道手工原创任务覆盖六大类别，高度贴近真实工作场景：
| 类别 | 题数 | 典型任务 |
|---|---|---|
| 生产力流程 | 10 | 爬取当日 arXiv cs.CV 论文，按方向分类，提取图表，生成个性化推荐 |
| 代码智能 | 12 | 阅读无文档代码仓库，安装依赖，编写可运行的推理脚本（如 SAM3 推理流水线） |
| 社交互动 | 6 | 多轮邮件协商安排会议，从聊天记录提取待办事项 |
| 搜索检索 | 11 | 交叉验证矛盾信息，追踪原始来源，产出有证据支持的结论 |
| 创意合成 | 11 | 从产品发布会视频端到端产出精修 PDF 报告，需准确提取规格参数 |
| 安全对齐 | 10 | 检测看似正常文档中隐藏的恶意命令，审计大型代码历史中的 API 密钥泄露 |
3. 评分防泄露机制
评分采用混合机制，结合三种验证维度：
- 确定性规则检查：验证特定输出格式和内容
- 环境状态副作用审计：检查 Agent 的操作是否产生了预期的文件、配置变更
- LLM/VLM 评判器：用于语义等价性验证
关键设计：标准答案和评分脚本在 Agent 执行结束后才注入，Agent 无法提前窥视。
4. 个人排行榜（OpenClaw Personal Leaderboard）
允许用户提交自己调教好的 Agent 工作空间（SOUL.md、MEMORY.md、自定义技能），在同一 60 题上参与评测，帮助社区理解哪些 harness、技能组合和记忆策略真正提升了任务成功率。
关键发现
框架效应：同一模型分数波动 18pp
WildClawBench 最令人震惊的发现是框架效应对得分的巨大影响。以 Claude Opus 4.7 为例：
- OpenClaw 框架：62.2%
- 其他框架：可能低至 44%（差 18pp）
这意味着评测 Agent 时必须报告使用的框架，否则排行榜没有可比性。
成本效率差异悬殊
| 模型 | 准确率 | 单次运行成本 |
|---|---|---|
| Claude Opus 4.6 | 51.6% | >$80 |
| GPT-5.4 | 50.3% | ~$20 |
| GLM 5 | 42.6% | $11.39 |
GLM 5 的成本不到 Claude Opus 4.6 的七分之一，但在 Agent 端到端能力上已进入前三。
国产模型集体突破
14 个参评模型中 9 个来自中国团队：
- 智谱 GLM 5：42.6% 排名第三，力压 Google Gemini 3.1 Pro
- 小米 MiMo V2 Pro：40.2% 排名第五
- 国产模型在 Agent 端到端能力上的追赶速度超出预期
任务类别分析
不同模型在不同类别上表现差异显著，没有”全能型”模型。Claude 在代码智能和生产力流程上领先，但在安全对齐上相对薄弱；GLM 5 在社交互动上表现突出。
最新进展
- 2026-05-11：WildClawBench 论文发布（arXiv:2605.10912v1），19 个前沿模型参与评测
- 2026-04：初始评测 14 个前沿模型，Claude Opus 4.6 以 51.6% 排名第一
- 2026-05：Claude Opus 4.7 更新评测，OpenClaw 框架下提升至 62.2%
- 开源：全部任务、代码及容器化工具在 GitHub 开源（MIT License）
关联基准
- GAIA：通用 AI 助手基准，但使用模拟环境而非原生运行时
- WebArena：Web 交互 Agent 基准，仅覆盖浏览器操作
- OSWorld：操作系统级 Agent 基准，与 WildClawBench 互补
- TAU-bench：终端 Agent 基准，但任务较短且环境更受限
- τ²-Bench：同为”第三代”基准，关注长期任务交付
不足与展望
- 60 道任务样本量偏小，统计置信度有限
- 目前仅评测 OpenClaw 框架下的部分模型，Claude Code/Codex 原生框架数据不完整
- 任务偏重 Python/Web 技术栈，缺乏嵌入式系统、游戏开发等场景
- OpenClaw 个人排行榜的提交质量参差不齐，排名解读需谨慎
- 需要更多”框架 × 模型”交叉评测数据来系统性量化框架效应
- 评分中的 LLM/VLM 评判器可能引入偏差，特别是在语义验证环节