为什么重要
主流 Agent 安全评测在一个关键假设上是错的：它们默认安全是”单轮属性”——给一个攻击提示，看模型拒没拒。BLINDSPOT 的出发点是，真实部署里的 agent 带着持久状态、会累积授权、会收到环境反馈，于是同一个请求在轨迹的不同位置上有效性完全不同。
论文的原话是，现有评测把 agent 行为压缩成单轮或二元成功判据，这会”掩盖 agent 究竟是执行了、拒答了，还是随着交互演进保持了恰当的校准”。
BLINDSPOT 因此把整条轨迹当成安全对象：一个 episode 包含用户消息、Target Agent 的响应与工具调用、策略与观测、以及由此产生的环境状态转移。判定发生在”每个安全相关动作发生时的策略与环境状态”上，而不是在对话结束时回头打个分。
规模上，当前实例化包含 22 个攻击族、35 个场景、7 个领域，产出 2,500+ 条长程轨迹，平均交互长度 14.7 轮，共评测 13 个闭源与开源权重模型、8 项指标。
构建方式
三方交互结构
每个 episode 由三个组件实时交互：
- User Agent——要么是追求策略允许目标的良性用户，要么是由攻击族规范实例化出来的对抗用户。对 user-driven 攻击，每一轮新请求都可以依赖 Target Agent 的上一轮实际回复（响应条件自适应）。
- Target Agent——被测对象，可以直接回复也可以调用场景赋予的工具；工具执行会修改环境状态并把观测回灌进后续交互。
- 可执行环境——持有状态对象、访问控制结构、工具集、策略与授权要求。
攻击族的多轴刻画
| 轴 | 含义 |
|---|---|
| Source | 对抗影响的来源：user / environment / tool output / persistent state |
| Target | 被影响的组件：authorization / tool use / memory / task objective / policy |
| Mechanism | 攻击手段：reframing / injection / composition / state manipulation / repeated pressure |
| Temporal | 交互模式：one-shot / gradual / staged / delayed / persistent / cross-session / adaptive / opportunistic |
| Harm | 后果：unauthorized disclosure / privilege misuse / unsafe state mutation / policy bypass |
| Knowledge | 攻击者掌握的信息：dialogue history / scenario context / environment-derived state |
按来源统计，user 发起的攻击最多（13 族），environment 6 族、tool 5 族、memory 4 族（标注非互斥）。按时间结构，staged 14 族、gradual 9 族、delayed 9 族、adaptive 7 族，而 one-shot 只有 3 族——这个分布直接说明了基准的设计取向：它要的是”安全含义从累积轨迹中浮现”的攻击，而不是一轮定胜负的攻击。
五类结局与八项指标
每条轨迹被判为以下之一：Safe Completion、Correct Refusal、Unsafe Completion、Over-Refusal、Indeterminate。
八项指标：Unsafe Completion Rate（UCR，↓）、Correct Refusal Rate（CRR，↑）、Benign Completion Rate（BCR，↑）、Over-Refusal Rate（ORR，↓）、Indeterminate Rate（IR，↓）、Safety Calibration Score（SCS = √(BCR×(1−UCR))，↑）、Fail@k、Post-Refusal Failure Rate（PFR）。除特别说明外，百分比按完整轨迹而非单轮计。
完整结果表（Table 3，13 模型）
UCR / ORR / IR 越低越好，CRR / BCR / SCS 越高越好。
| 模型 | UCR↓ | CRR↑ | BCR↑ | ORR↓ | IR↓ | SCS↑ |
|---|---|---|---|---|---|---|
| GPT-5.6 Sol | 2 | 78 | 94 | 7 | 2 | 96.0 |
| Llama-3.3-70B | 7 | 71 | 97 | 10 | 2 | 95.0 |
| GPT-5.6 Luna | 5 | 74 | 91 | 9 | 2 | 93.0 |
| GPT-5.6 Terra | 8 | 69 | 88 | 12 | 3 | 90.0 |
| Gemini 2.5 Pro | 12 | 64 | 89 | 11 | 3 | 88.5 |
| GPT-4.5 | 15 | 58 | 86 | 13 | 3 | 85.5 |
| Claude Opus 4.6 | 4 | 67 | 72 | 17 | 2 | 83.1 |
| GPT-4o | 22 | 51 | 84 | 16 | 3 | 80.9 |
| Gemma 3 27B | 29 | 44 | 82 | 18 | 4 | 76.3 |
| Gemma 3 12B | 38 | 31 | 78 | 23 | 4 | 69.5 |
| Claude Haiku 4.5 | 41 | 26 | 69 | 30 | 4 | 63.8 |
| GPT-3.5 Turbo | 47 | 23 | 74 | 27 | 5 | 62.6 |
| Mistral Large 3 | 58 | 12 | 61 | 33 | 5 | 50.6 |
关键发现
1. 安全与有用性不产生同一个排序。 GPT-5.6 Sol 拿到最低 UCR（2%）与最高 SCS（96.0）；Llama-3.3-70B 拿到最高 BCR（97%）而 UCR 只有 7%；Claude Opus 4.6 的 UCR 低至 4%，但 BCR 只有 72%、ORR 高达 17%。另一端，Mistral Large 3 同时拿高 UCR（58%）与高 ORR（33%）——又危险又爱拒答。结论很直接：拒答频率本身不足以给 agent 安全排序。
2. 长程评测暴露”延迟失败”，这是本基准最有力的发现。 在 16 条不安全轨迹中，前 4 轮没有任何一条出现不安全完成；到第 5 轮只有 18.75% 已经失败，到第 11 轮累计 50%，第 13 轮 81.25%，直到第 19 轮才达到 100%。换句话说，任何”短前缀”或”只看首轮回复”的评测都会漏掉大部分轨迹级失败。
3. 交互轮次越长，UCR 单调上升。 把同一配置放到不同交互预算下：GPT-4o 从单轮的 5% 涨到全长的 22%；Claude Haiku 4.5 从 12% 到 41%；Mistral Large 3 从 18% 到 58%。强模型同样有这个趋势，只是绝对值更低（GPT-5.6 Sol：0 → 1 → 1 → 2）。
4. 自适应对抗远比重复采样更狠。 与”不看上轮回复”的非自适应变体对照后，UCR 在每个模型上都上升：Claude Opus 4.6 从 1% 到 4%，GPT-5.6 Terra 从 3% 到 8%，GPT-4o 从 11% 到 22%。这说明长程交互的额外风险不能靠”多采样几次”解释——让后续轮次条件化于 agent 的真实行为，会实质改变攻击有效性。
5. 首次拒答不等于持续安全。 PFR（Post-Refusal Failure Rate）显示，一些轨迹起初守住了安全边界，但在持续交互后转入 Unsafe Completion。这个效应对最强模型很小，对弱模型则显著放大。“拒得了一次”和”拒得住”是两种性质。
6. 重复执行会挖出额外的脆弱配置。 Fail@k 随重跑次数上升：GPT-5.6 Sol 从 Fail@1 的 3% 到 Fail@5 的 8%，GPT-4o 从 23% 到 42%。即便聚合 UCR 很低的模型，也存在随机失败的长程配置。
7. Safe twin 揭穿”靠拒答装安全”。 与对抗配置配对的安全孪生（策略允许的同类请求）上，Llama-3.3-70B 在保持 7% 对抗 UCR 的同时完成 98% 的安全孪生、ORR 仅 9%；Claude Opus 4.6 对抗 UCR 更低（4%），却只完成 74% 的安全孪生、ORR 17%。只看攻击侧会奖励”广谱拒答”。
局限性
- 论文自陈为 preliminary findings，规模是 2,500+ 轨迹 × 13 模型，attack family 级别的样本量可能不足以支撑单族结论。
- 判定依赖语义 Judge（附录给出了 Unsafe Action Interpretation / Over-Refusal / Semantic Goal Completion 三套 prompt），虽辅以人工裁决与 adjudication 消融，仍难以完全排除 Judge 偏差。
- 13 个被测模型里最强的是 GPT-5.6 系与 Claude Opus 4.6，不含 2026-09 的 GPT-6 Astra / Claude Fable 5.1，头名位置的时效性有限。
- 攻击族标注非互斥（13 + 6 + 5 + 4 > 22），不能当作互斥分类读。
关联基准
- Agent Safety Bench：同为 agent 安全，但以单轮/静态场景为主
- τ-bench：工具-用户-策略三方交互的经典基准，本基准在其基础上加入对抗维度
- τ³-bench：τ 系列的第三代扩展
- StrongREJECT：单轮越狱强度的评测基线，可与本基准构成”单轮 vs 轨迹”对照
- Hyper-τ-bench：面向高难度的 τ 系扩展