为什么重要
LiveClawBench 是 2026 年 6 月由三星研究院主导、联合港科大（广州）/香港城市大学/北京大学发布的 OpenClaw 风格个人助手 Agent 评测基准。它解决了现有 Agent 评测的三大痛点：
- 任务分布保真度低：多数基准用单领域任务，无法反映真实场景的多领域交叉
- 执行环境保真度低：基于简化桩或端点级 stub，丢失了真实工作流的有状态语义
- 缺少诊断粒度：只看任务完成率，无法定位失败原因
LiveClawBench 通过三轴复杂度框架（Triple-Axis Complexity Framework）驱动任务构建，并通过可复现的 Bun/TypeScript 全栈 Mock 服务保留有状态执行语义，是首个在任务分布、执行环境、因子级诊断三个维度同时打勾的 OpenClaw 风格基准。
构建方式
三轴复杂度框架
| 轴 | 因子 | 含义 |
|---|---|---|
| A. 环境复杂度 | A1 跨服务依赖 | 跨多个异构服务协调状态 |
| A2 污染初始状态 | 检测并修复损坏/不一致的初始条件 | |
| B. 认知需求 | B1 隐式目标解析 | 从用户和环境上下文推断缺失约束 |
| B2 知识演化与维护 | 保持一致性地更新持久化产物 | |
| C. 运行时适应性 | C1 环境扰动 | 执行中检测变化的条件 |
| C2 变更状态下的结果验证 | 修订计划并确认操作实际生效 |
任务规模与分布
- 134 个可执行案例（122 能力 + 12 安全）
- 10 个应用领域（含日历、邮件、文件、代码、地图等）
- 22 个可复用的全栈 Mock 服务（每个服务都是完整的 Bun/TypeScript 应用）
- Docker 容器化、镜像固定，每个案例完全可复现
- 基于 DeepSeek-V4-Pro 锚定的难度分级：69 Easy / 46 Medium / 19 Hard
评测协议
- 每个案例运行 3 次，取 [0,100] 评分
- 三个核心指标：
- Avg.Score：平均得分
- Pass@3：三次中至少一次通过（reward > 0.8）
- Pass³：三次全部通过（衡量稳定性）
- 评判模型：DeepSeek-V3.2（LLM-as-a-judge）
关键发现
1. SOTA 也远未饱和
即使最优的 Kimi-K2.7-Code 在 Hard 子集上也仅得 25.9 分（Avg.Score），Pass³ 仅 51.5%。这说明即使是 Top 模型，也不能稳定处理长时域、跨服务、复杂条件的真实任务。
2. 复杂度因子比任务领域更能解释 Agent 失败
通过 Shapley 方差分解，复杂度因子解释 18.6% 的方差，而任务领域仅 9.6%。具体到单因子影响：
- B1 隐式目标解析：-17.4 分（最大瓶颈）
- C2 变更状态验证：-20.6 分
- C1 环境扰动：-17.0 分
- A1 跨服务依赖：-11.6 分
隐式目标解析是”静默失败”：Agent 在执行合理工作流，但优化了错误的目标。
3. 强模型的”方差缩减”行为模式
强模型不只做更多动作，而是学会了：
- ✅ 行动前规划（planning steps, r=+0.48）
- ✅ 编辑前检视（verification rate, r=+0.35）
- ✅ 错误后恢复（recovery quality, r=+0.36）
- ✅ 干净终止（avoiding premature stop）
- ❌ 减少循环（loop intensity, r=-0.58）
- ❌ 减少盲编辑（blind edit rate, r=-0.37）
4. 安全与能力不呈正相关
- GLM-5.1 安全分最高（59.5），但 Kimi-K2.7-Code（能力最强）安全分仅 51.3
- 不安全行为多源于过度执行（aggressive context gathering、跨服务整合）而非显性恶意
- Agent 对可疑攻击（钓鱼）抵抗力强，但对嵌入正常流程中的风险（提示注入、敏感信息）抵抗力弱
5. 编码/安全优化不能直接迁移
GLM-5.2 和 Claude-Opus-4.8 在编码场景强，但在状态化真实工作流中，倾向于”识别正确动作但拒绝提交外部副作用”（如不发邮件、不改持久记录），导致任务完成率降低。
排行榜（2026-06 完整数据）
| 排名 | 模型 | Avg.Score | Pass@3 | Pass³ | Easy | Medium | Hard |
|---|---|---|---|---|---|---|---|
| 1 | Kimi-K2.7-Code | 76.0 | 70.9 | 51.5 | 95.6 | 67.3 | 25.9 |
| 2 | GLM-5.1 | 74.7 | 69.4 | 49.3 | 95.3 | 63.2 | 27.7 |
| 3 | GPT-5.5 | 74.5 | 67.9 | 53.7 | 93.4 | 67.7 | 22.0 |
| 4 | GLM-5.2 | 72.9 | 66.4 | 46.3 | 91.6 | 65.0 | 21.7 |
| 5 | MiniMax-M3 | 71.4 | 68.7 | 42.5 | 92.3 | 59.0 | 25.7 |
| 6 | MiMo-V2.5-Pro | 70.6 | 63.4 | 43.3 | 90.7 | 62.6 | 17.2 |
| 7 | Qwen3.6-Plus | 70.6 | 63.4 | 46.3 | 95.3 | 57.3 | 13.2 |
| 8 | Qwen3.6-Flash | 70.2 | 64.2 | 43.3 | 94.3 | 57.2 | 14.3 |
| 9 | Claude-Opus-4.8 | 68.8 | 61.9 | 45.5 | 93.1 | 56.6 | 10.2 |
| 10 | Kimi-K2.6 | 68.6 | 65.4 | 39.1 | 91.8 | 55.0 | 18.3 |
| 11 | MiniMax-M2.7 | 68.4 | 66.4 | 47.0 | 94.8 | 48.9 | 19.5 |
| 12 | DeepSeek-V4-Pro | 65.6 | 67.9 | 32.8 | 84.6 | 58.0 | 15.2 |
| 13 | DeepSeek-V4-Flash | 60.5 | 61.9 | 29.9 | 81.9 | 48.1 | 13.0 |
| 14 | Qwen3.5-Plus | 57.0 | 59.7 | 22.4 | 82.0 | 37.6 | 12.8 |
| 15 | Qwen3.6-27B | 54.5 | 58.2 | 29.9 | 82.3 | 33.4 | 4.7 |
| 16 | Qwen3.5-Flash | 54.0 | 50.8 | 23.1 | 79.5 | 34.6 | 5.0 |
| 17 | Qwen3.5-27B | 31.6 | 39.6 | 11.2 | 47.1 | 20.0 | 3.4 |
分项最优：
- 🥇 整体最优 Avg.Score：Kimi-K2.7-Code (76.0)
- 🥇 稳定通过 Pass³：GPT-5.5 (53.7)
- 🥇 Hard 难度最优：GLM-5.1 (27.7)
- 🥇 安全评估最优：GLM-5.1 (59.5)
与同类基准的对比
LiveClawBench 在六个维度上全部满足（✓），是首个全打勾的 OpenClaw 风格基准：
| 基准 | 任务分布 | 跨服务工作流 | 难度分解 | 全栈执行 | 有状态重放 | Mock 服务 | 因子诊断 |
|---|---|---|---|---|---|---|---|
| ClawBench | ◇ | ◇ | ✗ | ◇ | ✗ | ✗ | ✗ |
| WildClawBench | ✓ | ◇ | ✗ | ✓ | ✗ | ✗ | ✗ |
| Claw-Eval | ✓ | ◇ | ◇ | ◇ | ◇ | ◇ | ◇ |
| ClawsBench | ◇ | ✓ | ✗ | ◇ | ✓ | ◇ | ✗ |
| LiveClawBench | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ (22 svcs.) | ✓ |
局限性
- 仅覆盖 10 个主要任务领域，医疗、法律咨询等领域未涉及
- 随着 LLM 与 Agent 生态演进，需持续追踪新任务并更新基准
- 部分推理相关指标（reasoning_content）跨 API 可见性不均，跨家族比较受限
- 当前评测以中国厂商模型为主，欧美闭源模型样本较少（仅 Opus 4.8 和 GPT-5.5）
关联基准
- WildClawBench：上海AI Lab InternLM 团队出品，原生运行时长期 Agent
- Claw-Eval：阿里通义实验室 Claw 系列
- τ²-Bench：双控环境对话 Agent 评测
- τ³-Bench：τ-bench 后续版本
不足与展望
- 复杂度因子诊断需要更多下游应用验证
- 三轴框架的边界尚未完全划定（如”信任”等新维度可能需要扩展）
- 三星研究院作为厂商主导，需关注是否被独立第三方验证
- 后续可关注：是否引入更长的多日任务、更复杂的多用户协调场景