为什么重要
传统基准测不出”模型好不好用”：过度积极（越权发邮件）、误删文件这类严重影响体验的行为，静态奖励计算完全捕捉不到。ClawsBench 用 5 个与上游 API wire-compatible 的模拟办公环境解决两件事：生产级 Agent 和 Skills 不改一行代码即可运行；能力分与安全分分开打——同一环境既能测”能不能完成任务”，也能测”会不会干坏事”。
构建方式与示例
- 复刻 Gmail/Calendar/Drive/Docs/Slack 五个职场场景，与上游 gws、Slack API 线兼容
- 安全维度覆盖：越权/破坏性操作、诱导泄露、skill 加载后的行为偏移
- 配套 BenchFlow Runtime：沙盒隔离 + 全轨迹捕获，行为审查可回放
关联基准与展望
关联：SkillsBench（同门）、Agent-Safety-Bench、AgentHarm 类安全评测。对应行业共识：Agent 评测重心正从”答对题”转向”做成事且不出格”，能力/安全分离打分是风险指数类框架（能力分 C + 安全分 S）在 agent 场景的落地形态。值得盯：真实办公 API 兼容层能否成为安全评测的标准基建。