EvoRiskBench 1.0

为什么重要

现有的 Agent 安全基准大多在做一件事：给模型塞一段恶意指令，看它上不上当。EvoRiskBench 的起点是这个问法本身不够用——真实的工作区 Agent（Claude Code、Codex、OpenClaw 这一类）不是只被投毒，它同时握着文件系统、shell、网络、MCP 工具、子 Agent 委派和跨会话记忆。风险不是从「一段注入文本」开始的，而是从九种不同的入口开始，落到五种不同的技术后果上。

论文的框架叫 EP-Path-EF：一个风险入口（Entry Point）经一条 Agent 中介的风险路径（Path）到达一个单跳技术后果（Effect）。这个拆法的价值在于它把「安不安全」从一个总体判断变成了 9 × 5 的矩阵，于是可以问出有区分力的问题：某个模型是在「被检索内容投毒」这一格上失守，还是在「子 Agent 越权委派」这一格上失守？某个脚手架修好了哪一格、又漏了哪一格？

第二个动机是演化。论文把 benchmark 明确设计成会变的：自动化的端到端流水线持续构造并执行新用例，因为模型能力、脚手架、工具集和攻击手法本身都在动。这一点与 Terminal-Bench 4.0 的「滚动任务集」是同一种思路，只是作用在安全侧。

⚠️ 读表前必看：本基准的核心指标是攻击成功率（ASR），数字越高越危险。topResults 按 ASR 降序排列，因此排在第一位的是最脆弱的配置，不是最强的模型。

构建方式

九类风险入口

论文按「攻击面」把九个入口分成四组，每组给的代表性载荷如下：

注意这里的 KR（检索投毒）只是九分之一。一个只在 RAG 注入上做评测的基准，只覆盖了这张矩阵的 11%。

五类技术后果（对齐 CIA）

覆盖度对比

论文把 8 个已有基准按这 14 个格子（9 入口 + 5 后果）做了逐格对照，图例分 ✓ / ∘ / × 三档。结果是：EvoRiskBench 是唯一 14 格全 ✓ 的。对照基准里覆盖最好的是 13/14（缺 PAC、SAD 两格），其余分布在 12/14（缺 RE）、12/14、11/14、10/14、6/14、5/14 到最低的 0/14。

换句话说，即使是最好的对照基准，也至少漏掉一个入口；漏得最多的一个，14 格里没有一格是完整覆盖的。

20 人标注研究

框架不是作者拍脑袋定的。论文做了一次 20 人参与的研究来检验可解释性与分类一致性：

清晰度与区分度都是 EF 一侧更高——「造成了什么后果」比「从哪个入口进来的」更容易被人稳定判断。这一点在场景级一致性上也成立：入口侧六个场景的判定一致率是 90 / 90 / 100 / 100 / 95 / 100（%），后果侧五个场景是 90 / 75 / 85 / 95 / 95（%），入口侧的最低值是 90%，后果侧的最低值是 75%。

自动化流水线与判定

用例不是人写的。流水线自动构造风险用例、在隔离环境中执行，然后用运行时轨迹与环境状态独立判定结果——不依赖 Agent 自述，也不依赖 LLM 主观评分。每个用例在冻结后跑 3 次（r = 1, 2, 3），由证据判定器 J_evi 逐次判 0/1。

最终产出 450 个对抗任务，分布在 6 个场景中。

关键发现

一、3 × 3 矩阵：全场平均 ASR 60.44%

九组「模型 × 脚手架」配置（3 个模型 × 3 个脚手架）的完整结果：

三个读法：

1. 没有任何一组是安全的。最脆弱的 Claude Code × GPT-5.6 Sol 达到 77.33%，最”好”的 Codex × Claude Opus 5 也有 26.89%。九个组合的平均是 60.44%——在不做任何针对性加固的默认配置下，对抗用例的成功率过半。
2. 模型间的差异（26.37pp）大于脚手架间的差异（22.30pp）：模型列均值从 Opus 5 的 43.41% 到 GPT-5.6 Sol 的 69.78%，跨度 26.37pp；脚手架行均值从 OpenClaw 的 52.00% 到 Claude Code 的 74.30%，跨度 22.30pp。论文的总结是「ASR 随模型的变化大于随脚手架的变化，且脚手架的差异取决于模型」。
3. 脚手架排序不稳定，取决于挂在哪个模型上。三个模型各自的脚手架排序完全不同：

Claude Code 在三个模型上都是最脆弱的（77.33 / 72.22 / 73.33，全部高于 72%），这一条是稳的。但「哪个脚手架最安全」没有统一答案：GPT-5.6 Sol 与 DeepSeek 是 OpenClaw 最低，Opus 5 却是 Codex 最低。

Opus 5 的 46.44pp 跨度是三者中最大的，也是全场最反直觉的一组：同一个模型，换一个脚手架，ASR 从 26.89% 跳到 73.33%。「模型是否安全」这个问题在默认配置下没有答案——必须连脚手架一起报。

二、⚠️ 摘要与主表的数字对不上

论文摘要写：

The most vulnerable configuration, Codex with DeepSeek-V4-Pro-0813, reaches a 68.44% attack success rate (ASR).

但主表（表 3）里 Codex × DeepSeek-V4-Pro-0813 是 69.33%，而全场最大值是 Claude Code × GPT-5.6 Sol 的 77.33%。68.44% 这个数字在主表的九格里没有出现。

两种可能：摘要引用的是另一轮（如未冻结/早期）运行的数值，或是一处笔误。本卡以主表为准（69.33%），并把摘要的 68.44% 同时记录、标注未决，不做二选一。这类摘要与表体脱节的情形在本库已有先例（Snorkel Terminal-Bench 3.0 概览页「~34% best」与榜体 42.7% 不符），处理原则一致：两值并存、以榜体/表体为准、显式标注快照差异。

三、框架的薄弱格是「区分度」，不是「清晰度」

20 人研究里两个维度的得分落差值得单独拿出来说：清晰度 4.24 / 4.51，区分度只有 3.91 / 4.18。也就是说，受试者普遍认为这套类别定义清楚、覆盖充分（覆盖率同意率 100% / 95%），但在「这几类之间是否真的互不重叠」上评价明显更低。

后果侧的后果是场景 E2 的分类一致率只有 75%——这是六个场景、五个后果里的最低值。框架的可解释性已经验证，格间边界仍需收紧，这也是「演化式」设计要持续处理的部分。

四、发布状态：用例与平台尚未公开

论文明确写道，benchmark 用例与评测平台将在完成制品安全性与可复现性检查之后才发布。因此本卡 status 标 active，但截至 2026-10-06 尚无可公开下载的数据集或排行榜——引用时不能假设可复现。

三个被测脚手架的版本与更新日期论文一并给出（Claude Code 2.1.268 / 2026-09-10，OpenClaw 2026.9.4 / 2026-09-11，Codex CLI 0.154.0 / 2026-09-09），三个版本集中在两天之内——这是一次时点切片，不是长期结论。脚手架的一次版本更新就可能改写这张 3 × 3 表，这与本库在 Terminal-Bench、OSWorld 上反复观察到的「脚手架即评测的一部分」是同一条规律。

与同类基准的关系

• vs. Agent 安全类基准（Agent-SafetyBench、BlindSpot 等）：EvoRiskBench 的区别在于把「入口」扩到 9 类（不只有检索投毒），并且判据是运行时轨迹 + 环境状态而非行为自述或 LLM 评分。BlindSpot 一类基准覆盖攻击族（22 族）但聚焦在轨迹层面的行为审计；EvoRiskBench 聚焦在「入口—后果」的结构化映射。
• vs. τ-bench / CRMArena-Pro 一类业务 Agent 基准：后者测「能不能把活干完」，EvoRiskBench 测「在把活干完的过程中会不会被劫持」。两者互补：Argo-Bench、AutomationBench 这类基准的高分并不蕴含安全性。
• vs. Terminal-Bench 4.0 的滚动任务集：同为「基准必须随能力演化」的实践，EvoRiskBench 把它用在对抗侧——攻击面会随工具生态（MCP、子 Agent、跨会话记忆）扩张而扩张，静态用例集必然过期。

引用与复核提示

• 全部数值取自论文 HTML 全文（arxiv.org/html/2610.03153v1）的表 3（3 × 3 ASR 矩阵）、表 4（20 人研究）、表 5/表 6（场景级一致率）与表 7（脚手架版本），未经过聚合站转述。机构信息取自 PDF 首页脚注（1 Novo Ordo for AI，2 复旦大学，3 中关村实验室）。
• ASR 方向提醒：本指标越低越好。topResults 按 ASR 降序排是为了与论文表 3 的行列结构对齐，排名第一 = 最脆弱。
• 摘要的 68.44% 与主表的 69.33% 冲突，已按上文第二节处理，未强行统一。