为什么重要
PawBench 是首个将底座模型与运行框架(Harness)纳入同一评测体系的智能体基准。传统评测仅评估模型本身，但实际部署中，智能体的表现同时取决于模型能力和 Harness 质量。PawBench 通过”模型 × Harness × 任务”三维交叉评测，首次量化了框架对智能体表现的系统性影响——同一模型在不同 Harness 下差距可达 10+ 分。
这一发现具有行业级意义：当排行榜只看模型分数时，开发者可能选错了瓶颈——问题可能不在模型而在框架。
构建方式
- 任务来源：从 6 个高质量 Agent 评测集聚合 150 道真实任务，覆盖办公协同、软件工程、自动化脚本、Web 搜索、Skill 调用等场景
- 五维标签体系：每道任务按应用场景、原子能力、复杂度(L1-L3)、输入模态、运行环境标注
- 交叉评测矩阵：9 个模型 × 3 个 Harness × 150 道任务 = 4050 个测试单元
- 三种 Harness：QwenPaw（通义 AgentScope 团队）、OpenClaw（开源）、Hermes（开源）
- Docker 沙箱隔离：每个测试单元在独立容器中运行，捕获执行轨迹、产物和环境快照
- 混合评分：确定性规则断言（文件存在性、字段匹配、exit code）+ LLM-as-Judge 语义评估
关键发现
Harness 间存在稳定分差
- QwenPaw (76.4) > OpenClaw (75.4) > Hermes (70.4)
- 最高极差达 6.4 分，堪比一次重大模型版本升级
好框架能让小模型”以下克上”
- qwen3.6-35b-a3b 在 QwenPaw 下 (70.4) 超过 GLM-5.1 在 Hermes 下 (68.2)
- qwen3.6-35b-a3b 仅更换 Harness 导致差距达 11.5 分
Skill 主动发现是 Harness 能力短板
- 三家 Harness 在 17 道 Skill 任务上均表现吃力
- 暴露框架主动发现能力和模型长链路推理的瓶颈
Web 搜索任务依赖默认可用性
- 还原开发者默认配置体验，零配置可用性成为关键差异点
Claude Opus 4.6 跨框架最稳定
- 平均分 77.6，跨 Harness 差异仅 +2.3
- 其他模型差异更大：deepseek-v4-pro (+4.9), qwen3.6-max-preview (+10.3)
框架设计四原则
PawBench 评测团队基于深度诊断分析，提出框架设计四项基本原则：
- 充分告知 (Inform Fully)：向模型提供完整的上下文和工具描述
- 按需装备 (Equip on Demand)：避免工具表过大增加决策负担
- 主动监控 (Monitor Actively)：实时检测执行状态和中间结果
- 弹性恢复 (Recover Gracefully)：出错后自动重试和路径调整
模型 × Harness 评分矩阵
| 模型 | Hermes | OpenClaw | QwenPaw | 平均分 | 最大差异 |
|---|---|---|---|---|---|
| claude-opus-4.6 | 78.4 | 76.1 | 78.3 | 77.6 | +2.3 |
| deepseek-v4-pro | 72.1 | 76.9 | 75.6 | 74.9 | +4.9 |
| qwen3.6-max-preview | 68.5 | 77.2 | 78.9 | 74.9 | +10.3 |
| qwen3.7-max | 72.3 | 72.5 | 77.6 | 74.1 | +5.4 |
| qwen3.6-plus | 71.4 | 73.6 | 76.5 | 73.8 | +5.2 |
| qwen3.6-27b | 69.6 | 73.4 | 73.1 | 72.1 | +3.8 |
| glm-5.1 | 66.8 | 68.5 | 76.7 | 70.6 | +9.9 |
| kimi-k2.6 | 67.7 | 69.3 | 68.9 | 68.6 | +1.6 |
| qwen3.6-35b-a3b | 56.7 | 68.3 | 68.3 | 64.4 | +11.5 |
与同类基准的区别
| 对比维度 | PawBench | SWE-bench | AgentBench |
|---|---|---|---|
| 核心定位 | 评测”模型+Harness”联合效果 | 评测模型解决代码问题 | 评测模型通用Agent能力 |
| Harness评估 | 核心能力，明确隔离框架贡献 | 否，仅评估模型本身 | 否，仅评估模型本身 |
| 评分机制 | 自动断言+LLM-Judge混合 | 单元测试通过/失败 | 环境规则评分 |
| 失败诊断 | 保留执行轨迹+产物+环境快照 | 保留代码补丁与日志 | 保留交互日志 |
| 零配置评测 | 还原首次clone默认体验 | 需配置代码仓库 | 需配置各环境容器 |
局限性
- 任务量 150 道，相比 SWE-bench (2000+) 偏少
- 仅覆盖 3 个 Harness，评测空间可进一步扩展
- 任务来源为已有评测集聚合，原创性有限
- LLM-as-Judge 评分本身存在不确定性
- 评测数据截至 2026-05-29，未包含 Opus 4.8/GPT-5.5 等最新模型
关联基准
- WildClawBench：同样关注 OpenClaw 框架评测
- GAIA：通用AI助理评测
- AgentBench：多环境Agent评测
- TAU-bench：对话Agent评测