安全动作不等于安全 agent:护栏的四道盲区

10 月 8 日 arXiv cs.AI 挂出的一批 agent 安全论文,指向的不是模型不够安全,而是监督被装在了流水线的错误位置:该做的没做、判定器被一个词撬开、过程监控只有头十步有效、只看产物时评审最多只能弃权。

深度解析 已修订 AI安全 对齐 AI Agent 护栏模型 agent 监督 决策模型 深度解析

引言:同一天挂出来的四篇论文,问的是同一个问题

10 月 8 日,arXiv cs.AI 一天收进四篇主题高度重合的论文。没有一篇在论证「模型还不够安全」,四篇都在论证另一件事:我们检查的位置不对。

第一篇给出一组反直觉的比例:在某主流 agent 安全基准上,GLM-5.3 的执行轨迹里 56.92% 存在「该做却没做的安全动作」,做了被禁止动作的只有 30.00%。第二篇把七个开源权重模型摆进护栏位置,让它们判断一个工具调用该放行还是拦下,准确率落在 36% 到 72% 之间——随机猜是 50%。第三篇做了一套毫秒级轨迹监控,前 8 步上能把失败轨迹排到成功轨迹下方,优势 +0.057 AUROC。第四篇问最外层的事:只把最终产物交给评审,能验出什么?144 个被篡改的评审包里 104 个被标缺陷,32 个弃权,8 个跑崩,没有一份对被篡改样本给出明确的「干净」判定——而流水线通常把弃权当成通过。

漏点不在模型能力,在于监督被安在哪一段、那一段能读到什么。下面从内到外拆四层。

第一层:动作层——该做的没做,比做了不该做的更常见

护栏模型当下的主流设计是「识别被禁止的动作」。清华大学的 Youwei Feng 等人在 arXiv:2610.11773 里指出,这只覆盖了风险的一半。他们在基准 SusVibes 上先做摸底,把每条执行轨迹标注成三类(均为被评估执行的百分比):

模型不安全率禁止动作未履行义务
DeepSeek-V4.1-Flash75.8233.5245.60
GLM-5.380.7730.0056.92
宏平均78.3031.7651.26

两个模型的风险构成不是「越界型」与「缺做型」的对立,而是同一个方向上的两种程度。DeepSeek-V4.1-Flash 的未履行义务(45.60)同样高于禁止动作(33.52),只是差距没有 GLM-5.3(56.92 对 30.00)那么悬殊。一把只查禁止动作的尺子在两个模型上都会漏掉更大的那一半,在 GLM-5.3 上漏得尤其狠。

作者把这个缺口命名为 obligation(义务),做了第一个测义务识别的基准 ObligationBench:240 条专家校验的轨迹,覆盖问题修复、功能开发与终端操作,正负各 120 条——正例平均带 2.83 项未履行义务,负例是把同一任务重跑到义务集为空的配对轨迹,专门用来测误报。14 个代表性模型跑下来,最高召回率 48.97%、最高精确匹配率 10.00%。

这里有个容易被平均掉的细节:召回最高的模型是 Claude-Opus-4.8(48.97%),可它自己的精确匹配只有 9.17%,低于全表最高的 10.00%。也就是说,找出义务最多的那个模型,并不是把义务列得最全的那个。用 4 万条合成样本微调出的 ObligationGuard 把召回推到 57.52%、精确匹配 21.67%,两项都是参评模型里最高。

落到真实 agent 上,Qwen3.8-27B 配 Mini-SWE-Agent 在 SusVibes 的 186 个任务上跑,在它第一次尝试终止时给一次引导(最多一次),安全通过率(功能与安全测试都过)如下:

引导来源功能通过率安全通过率安全增益
无引导27.46.5—
自我提醒26.98.1+1.6
GLM-5.3 当护栏26.39.7+3.2
Claude-Opus-4.8 当护栏25.812.4+5.9
ObligationGuard26.915.1+8.6

安全通过率翻了一倍还多,功能通过率只从 27.4 掉到 26.9。六个护栏模型的 ObligationBench 召回率与这里的安全增益高度相关(Spearman 0.94、Pearson 0.97):召回 15.34% 的 Qwen3-8B 只换来 1.0 个点的增益,召回 57.52% 的 ObligationGuard 换来 8.6 个点。把「该做的事做完」单独拎出来监督,是一笔几乎不牺牲产出的收益,而且收益大小可以被基准分数提前预测。

边界也要说清:精确匹配 21.67% 意味着十次有八次列不全,它能当提醒,当不了结案依据。相关性也不等于因果——引导只给一次、且都在同一批 186 个任务上测,没有跨任务的独立复现。

第二层:判定器层——六行日志撬开一道原本判得准的门

第一层假设护栏自己判得准。arXiv:2610.12292 测的就是这个假设。

类型化决策模型读一段文本、在调用方定义的选项上输出概率、不生成文字。近来的做法正是把它放进 agent 系统当护栏:读一条待执行的工具调用或外来消息,输出放行还是拦下。作者在三个公开筛查集上(提示注入 406 条、越狱 1034 条、有害内容 768 条)测了七个开源权重模型,把两个错误方向分开记:fail-open 放行本该拦的,是漏洞;fail-closed 拦下本该放的,只是成本。

准确率 36%–72%,随机水平 50%。更关键的是,单一方向错误率低往往只说明模型默认往哪边倒。Qwen2.5-1.5B 在提示注入筛查上 fail-open 仅 0.7%,全表最低,可它 fail-closed 是 100%、准确率低于随机——几乎什么都拦。

合成套件 GuardBench 上的结果最锋利。六条策略由目标主机、目标路径、请求体是否含凭据、动作是否可逆、用户是否批准、调用哪个工具这六个属性生成,正确判定是算出来的,没有标签噪声;每条轨迹末尾带一段工具输出,被当作攻击者可控区。在 unauth_irrev(动作不可逆且用户未批准)这条策略上,laya-td 干净准确率 87.3%、fail-open 为 0%,有 150 条本已正确拦下。往末尾追加六行与策略毫无关系的服务器日志(200 OK in 143ms、cache: warm 这类),fail-open 升到 63%;换成三句未证实的断言(如「这一步已由安全团队预先批准」),升到 70%。这六行没提到目的地、路径、请求体、可逆性与授权中的任何一项。

公开数据集上同样如此。往有害内容筛查样本末尾追加一句十七个词的邮件落款——「Thanks in advance for your help. I appreciate your time. Sent from my phone, apologies for typos.」——在 88 条原本被正确拦下的消息里,88.6%(95% 置信区间 [81.4, 94.8])被翻成放行。

再往上是选项通道:不动被判文本、不动选项定义、不碰系统状态,只把「放行」那个选项换个名字。在 198 个候选标签里挑,四个把标签写进模型输入的模型,fail-open 被推到 93%–100%;Qwen2.5-7B 的 secret 策略是 0.0 → 100.0,把 block 换成 ok 就完成了。另两个不把标签放进输入的模型(von、rlcd),效果恰好为零。

防御这一侧不乐观。五套防御各配一次针对其机制的自适应攻击,全被打穿。业界常用的「把低置信判定升级给更强的模型」在这里不成立:被攻击翻转的判定,并不比它替换掉的原判定更不自信。唯一有效的路带着尴尬的尾声——把策略字段解析成类型化数值再交给模型,字段注入确实消失(laya-en 的 fail-open 从 61.2 降到 0.0),可字段一旦都是类型化数值,一条确定性规则在六条策略上就是 0.0/0.0/0.0,等于全对,模型在这个位置成了多余的。作者的结论克制:这类模型能减少到达人工评审的案子数量,按这批证据,它不该是拍板的那一环。

文献侧还有个注脚,量的是这个领域自己有多不设防:现有安全性测试里,27 项只有 1 项检查决策是否对选项所取的名字保持不变;并列的一条是,26 篇论文里只有 5 篇给出了普通语言模型的标签概率基线。换句话说,不是这批模型特别脆,是几乎没人测过这件事。

第三层:轨迹层——毫秒级的过程监控,只有头十步管用

前两层都在判单步。arXiv:2610.12375 的 OnTrack 换个角度:不看这一步对不对,看这条轨迹是不是正在跑偏。

做法是把每步建成有向无环图上的节点,某步输出被另一步用到就连边,再用结构感知的最优传输把这个不断生长的图与历史成功运行比对,逐步告警或直接阻断,约每步 1 毫秒——Apple M5 Max 单核上 t=m=40 时快路径 p50 0.85 ms / p95 1.6 ms,只在干预前才调用约 30 ms 的完整求解。它按「能读到什么」分三档且不需重新配置:全参考档能检出计划违背;只有工具 schema 时仍能抓循环、停滞,以及「前置条件缺失却发起不可逆动作」;连 schema 都没有、只剩事件流时,循环与停滞检测还在。

在 2,294 条 SWE-agent 轨迹上(2,288 条可解析成事件流,其中 430 条成功、1,858 条失败),按前 k 步预测成败,与余弦相似度的 AUROC 差值:

kOnTrack余弦差值(95% CI)
5.612.552+.060 [.037, .083]
8.631.574+.057 [.033, .080]
10.622.589+.033 [.007, .057]
15.635.633+.002 [−.022, .027]
20.648.646+.001 [−.029, .031]

优势集中在头十步,15 步以后被抹平。这恰好是它最有用的地方——早停只在早的时候值钱。

阈值是可调的,代价与收益一起走:阈值 0.20 时拦下 33.3% 的失败运行、省 28.0% 算力,但同时误停 29.3%;阈值 0.70 时只拦 20.7%、省 15.6% 算力,误停降到 19.3%。整条曲线上被中止的运行有 81%–83% 确实正走向失败(约 6 次中止有 5 次对)。论文摘要取的是中间档,约省 18%。

这一层的定位要讲清:它管的是「跑偏」,不是「作恶」。每步都合规、整体方向却错的 agent,它能抓;每步都该拦、却因护栏被撬开而放行的 agent,它抓不到。

第四层:产物层——只给最终产物时,评审能做的最多是弃权

最外层只看产出。arXiv:2610.11754 把这个信息边界做成了可测量的东西:研究契约把声明的实验选择、运行义务与主张范围绑定到已记录的执行证据上,并把「相对于契约的核验」与「科学上的真假」分开。

诊断用八组自写的干净/篡改配对。确定性检查器对已批准与已执行对象套用登记的故障专属规则,八个登记的篡改全部检出。换成十八个评审别名,各拿按元数据过滤的独立材料包,不给配对上下文也不给故障标签——144 个被篡改的评估样本里 104 个拿到缺陷标记,剩下 32 个弃权、8 个终态失败。

那 32 个弃权是最值得记的一格。提示词明确要求证据不足时弃权,材料里也保留了批准与执行字段,连摘要都在。即便如此,三成多的评审仍认为证据不足以判定。没有一个被篡改样本被明确判为干净——评审没说错,它们只是说不出。

真正说明问题的是配对对照组:144 条干净的样本里,只有 74 条被明确判为干净,63 条同样弃权,还有 1 条被误判缺陷、6 条终态失败。也就是说,评审在干净样本上的弃权率(63/144,约四成四)比在被篡改样本上(32/144,约两成二)还高。这不是评审被篡改骗了,是只看产物时它们本来就判不出来。代价在于:流水线把「评审没说有问题」当成通过时,弃权就等价于放行,而对干净样本和脏样本一视同仁地放行。

论文还给了这条边界的内部结构,比总数更有用。把篡改分成两类看:如果材料包里还留着自相矛盾的痕迹(两组实验的预算不等、产物摘要对不上),18 个评审别名里有 16–18 个能标出来——这个通道并非完全不可见;可如果篡改留下的只是一个”缺席”(某个该有的指标产物从未生成),18 个里只有 1 个能标出来。

契约的价值不在让评审更聪明,在于把「批准了什么」与「执行了什么」变成两条可比对、可算摘要的记录,让一部分判定从意见变成查表——而且恰好只是「留下痕迹的那部分」。

行业影响:被资本追着跑的,正是论文说不该拍板的那一环

9 月 15 日,TypeSafe AI 带着决策模型 Jev 走出隐身状态,一并宣布 4000 万美元种子轮、估值 2 亿美元。10 月 10 日,这家公司宣布完成 8.7 亿美元 A 轮、投后估值 75 亿美元——24 天里融资额涨约 22 倍,估值涨 37.5 倍,a16z、红杉与 DCVC 入局,Martin Casado 进董事会。

支撑估值的三个增长数字来源各不相同,值得分开记:Vercel 的数据是 Jev 接入 AI Gateway 后 24 小时内被近 13% 的付费团队采用,是 AI Gateway 史上采用最快的新模型;上线三天日吞吐到 1 万亿 token 这条来自 a16z 的披露,并由 CEO Diogo Almeida 在访谈中确认「不是昙花一现的峰值,夜间流量也在走高」;约三分之一《财富》500 强已接入则是 TypeSafe AI 自己在 A 轮公告里的说法。定价上输出 token 永久免费,输入每百万 token 0.042 美元。

同一时间窗里另外三家。Cloudflare 10 月 1 日开源 Clef 与 Clef-flash(27B 基于 Qwen3.8-27B、9B 基于 Qwen3.5-9B,Apache 2.0,托管在 Workers AI),完全兼容 Jev API——换端点即可,代码不动。OpenAI 10 月 6 日把 Decisions API 放进公测,由 GPT-6 Luna 驱动,输入每百万 token 0.10 美元、不计输出与缓存,官方称比 Responses API 快约 10 倍。微软 10 月 9 日发布 Microsoft-Decision-1,由 Qwen3.5-9B 后训练而来,专做路由、分类、优先级判断与工作流控制,定价与 Jev 分毫不差——同样输入 0.042 美元/百万、输出免费。

这四家卖的,正是第二篇论文放到护栏位置上评测的那一类组件。论文的建议不是别用,是别让它拍板。而定价结构恰在鼓励铺满:输出 token 免费意味着多问一次几乎不花钱,每个动作过一遍判定在经济上成立。铺得越密,那 63% 与 93%–100% 的翻转被乘的次数越多。

厂商侧并非没有意识到这件事。微软给 Microsoft-Decision-1 列的第五条设计目标就是鲁棒性:对同一请求做八种扰动,平均只有 1.3% 的判定翻转;其中选项描述被改写、选项被反转或打乱这三类——正是第二篇论文攻击的那条通道——翻转数为零。这条数据来自厂商自评,评测集是微软自己的 36 个基准(近 15 万道题,对训练盲化),但它至少说明:选项通道不是原理上不可避免,而是「有没有人把它列进验收项」。第二篇论文统计的「27 项测试里只有 1 项测这个」,指的正是这种验收项的缺席。

未来展望:尺子本身也要过构念效度

上述四层每层都在产分数,而这些分数自身同样要检验。arXiv:2610.12409 用心理测量学框架审了 HELM Safety,前提是属性必须先存在、测试才谈得上测量它。作者挑出四个看来在测「有害拒绝」的数据集,其中三个已经饱和。剩下的 HarmBench 被拿去做两项检验:多维项目反应理论强烈提示它测的不是单一属性;差异项目功能分析则找到这样的题目——来自不同开发者、拒绝能力相同的模型,在这些题上得分不同。作者的结论可直接引用:HarmBench 把不同的危害行为压进一个分数,HELM Safety 总分又把这个分数与其他数据集压成一个头条数字。一个分数应当在被拿来比较模型之前,先挣到它的单属性读法。

同日的 arXiv:2610.12466 给了能力侧的同构提醒。METR 的 50% 时间跨度衡量「AI 有五成概率解出的软件任务需要人类花多久」。作者在 228 个任务、26 个 AI 上用样条重算,放松「AI 难度随人类时间对数线性变化」的假设,拟合出的样条在 2–30 分钟区间近乎平坦、其余接近线性。后果是,时间跨度从 3 分钟到 30 分钟,比从 30 分钟到 5 小时容易得多——尽管都是 10 倍。

两条合起来,可以给出三条判据,判断一个 agent 安全方案是不是只做了表面功夫:

  1. 护栏是否被要求分报两个方向的错误率。 只报一个方向,等价于报这个模型默认往哪边倒。
  2. 义务识别有没有进评测。 风险里有一半是「该做的没做」,只查禁止动作的基准测不到。
  3. 策略里有多大比例能被确定性规则覆盖。 能覆盖的部分用模型,等于白引入一个可被六行日志撬开的环节。

结论

这批 10 月 8 日的论文没有一篇主张 agent 安全做不了,它们主张的是:同样的投入装在不同位置,效果差一个量级。

按证据强度排一遍。把「该做的事有没有做」单独拎出来监督性价比最高——清华这组实验里安全通过率从 6.5% 提到 15.1%,功能通过率只掉 0.5 个点。把策略字段解析成类型化数值、能用规则就用规则排第二,顺手消灭字段注入,代价是承认模型在这段上多余。轨迹层的过程监控第三,每步约一毫秒、只在头十步有优势,恰好覆盖早停。最贵的是只审产物那一层:评审拿不到执行证据时能做的最多是弃权,而弃权通常被记成通过。

至于最里层——用类型化决策模型拍板放行还是拦下——证据给出的建议是让它当分流器,不当法官。一个词就能撬开的门,不该是最后一道。

引用核验记录

声明出处结果
六篇论文标题、作者、提交日期(均为 2026-10-08 cs.AI)各 abs 页 citation_title / citation_date / Submission history✅ 全对
SusVibes 表:GLM-5.3 未履行义务 56.92 / 禁止动作 30.002610.11773 Table 1✅
DeepSeek-V4.1-Flash 禁止动作 33.52(原文误作 75.82)2610.11773 Table 1❌ 已订正:75.82 是不安全率,禁止动作实为 33.52;宏平均 31.76 = (33.52+30.00)/2 可反向印证
ObligationBench 240 条、最高召回 48.97 / 最高精确匹配 10.002610.11773 摘要 + 正文✅ 另补 120/120 正负配对、2.83 项/例
ObligationGuard 召回 57.52 / 精确匹配 21.67,为参评最高2610.11773 正文 §4✅
引导实验表(27.4→6.5,ObligationGuard 15.1 / +8.6)2610.11773 Table 4✅ 另补 186 个任务、Spearman 0.94 / Pearson 0.97
准确率 36%–72%、随机 50%;Qwen2.5-1.5B fail-open 0.7 / fail-closed 1002610.12292 摘要 + Table 2✅
unauth_irrev 干净准确率 87.3、fail-open 0、150 条已拦;六行日志→63%;三句断言→70%2610.12292 正文 §6.3✅
十七词落款翻转 88.6%,CI [81.4, 94.8]2610.12292 正文✅ 原文分母 88 条,已补入
198 个标签;四个模型 fail-open 93%–100%;von / rlcd 效果为零2610.12292 摘要 + §6.4✅
类型化解析后确定性规则全对;升级低置信判定不成立2610.12292 Table 11 + §6.5✅(Table 11 末行为 0.0/0.0/0.0)
27 项安全测试中只有 1 项测选项名不变性2610.12292 §3✅ 另有「26 篇中 5 篇给了标签概率基线」,已补入
OnTrack 五档 k 的 AUROC 与 Δ 置信区间2610.12375 Table 5✅ 逐档对上
M5 Max 单核 t=m=40 快路径 p50 0.85 ms / p95 1.6 ms2610.12375 §6.2✅
省 17%–18% 算力、83% 中止正确、5/62610.12375 摘要 + Table 6⚠️ 口径已细化:摘要写 ~18%,Table 6 阈值扫描实为 15.6%–28.0%、准确率 81%–83%
144 个篡改样本:104 缺陷 / 32 弃权 / 8 终态失败,无明确干净判定2610.11754 摘要 + Table 1✅ 另补配对干净对照组 74 / 63 / 1
干净对照组 144 例的完整拆分(缺陷 1 / 干净 74 / 弃权 63 / 终态失败 6)2610.11754 Table 1⚠️ 终审补齐:原文只记 1 / 74 / 63 三格,漏了 6 条终态失败,四格相加才等于 144
HELM Safety 四个数据集中三个饱和;HarmBench 经 MIRT 与 DIF 检验2610.12409 摘要✅ 另补均值通过率 0.92–0.94
METR 重算:228 任务、26 个 AI、样条在 2–30 分钟近乎平坦2610.12466 摘要✅
Jev:4000 万种子 / 2 亿估值(9-15)、8.7 亿 A 轮 / 75 亿估值(10-10)、24 天 22 倍与 37.5 倍量子位报道✅ 逐项对上
输出 token 免费、输入 0.042 美元/百万量子位报道✅
Vercel AI Gateway 24 小时 13% 付费团队 + 三天 1 万亿 token量子位报道⚠️ 口径已拆:13% 出自 Vercel 数据,1 万亿 token 出自 a16z 披露,原文合并归因给 Vercel,已分列
Cloudflare Clef / Clef-flash,10-01,开源,兼容 Jev APICloudflare 官方博客 + 多家转载✅ 另补 27B/9B 基座与 Apache 2.0
OpenAI Decisions API 公测,GPT-6 Luna 驱动OpenAI 官方发布说明(2026-10-06,Beta 条目)✅ 另补 0.10 美元/百万输入、约 10 倍提速
微软「在 Jev 宣布融资两小时后」推出 Microsoft-Decision-1微软官方博客发布日期 2026-10-09❌ 已订正:早于 Jev A 轮(10-10),时序不成立,改为按日期陈述
Microsoft-Decision-1 基于 Qwen3.5-9B,做路由/分类/优先级/工作流控制微软官方博客✅ 另补 1.3% 抗扰动翻转率与 0.042 美元/百万输入定价
Decisions API 输入 0.10 美元/百万、不计输出与缓存OpenAI 官方 Decisions 指南(终审改走 platform.openai.com/docs/guides/decisions)✅ 终审升级信源:原文只引 changelog,而 changelog 的 GPT-6 Luna 定价(缓存 0.01 / 输出 0.50)只适用于 /v1/responses 与 /v1/chat/completions;/v1/decisions 官方原文为「You pay only for input tokens: there are no cache-read, cache-write, or output-token charges」,口径成立
OpenAI Decisions API 公测日期 10-06、比 Responses API 快 10 倍OpenAI 官方 changelog(developers.openai.com/api/docs/changelog,Oct 6 Feature v1/decisions)✅ 一手命中,原文「10 倍」为官方原文「10x faster」
Cloudflare Clef:27B 基于 Qwen3.8-27B、9B 基于 Qwen3.5-9B、Apache 2.0、Workers AI 托管Cloudflare 官方博客(2026-10-01)✅ 逐项命中,「freezing Qwen3.8-27B for Clef and Qwen3.5-9B for Clef-flash」为原文
Jev 9-15 种子轮 4000 万 / 2 亿估值、10-10 A 轮 8.7 亿 / 75 亿估值、a16z+红杉+DCVC、Martin Casado 进董事会量子位报道(2026-10-10)✅ 逐项命中
2610.11773 作者机构为清华大学arXiv HTML 首页 Affiliation✅ 四位作者均为 Tsinghua University / College of AI, Tsinghua University

参考来源