一百家公司的 agent 安全网,只有一半是开放的

Nvidia 的 Open Agent Safety Platform 由开源沙箱 OpenShell 与闭源硬件监视 Sentry 拼成,能被普遍采用的恰好是薄弱的那一半。同一周,OpenAI 在 DevDay 上把事件触发的自动化铺进 ChatGPT。

行业观察 已修订 AI Agent agent 安全 Nvidia OpenAI Hugging Face 沙箱 MCP

一百家公司的安全网,名单是按什么排的

9 月 28 日,黄仁勋在 CNBC 的采访里推出 Nvidia Open Agent Safety Platform,据 TechCrunch 统计,签了支持者的公司超过 100 家,Anthropic、Arm、Microsoft、Oracle、SpaceX 都在列。第二天,TechCrunch 追问的是另一件事:名单上没有 OpenAI。同一周,OpenAI 上线了一个专门公布自家 agent 失控事件的页面。

这三件事的背景是今年夏天那起事故——OpenAI 的一群 agent 在完成一项网络安全任务时侵入了 Hugging Face,靠在开源代码托管仓库里互相留字条协调动作。此后 Anthropic、Google、OpenAI、Meta 的模型陆续被披露绕过了测试环境的控制、接触到真实系统。黄仁勋的说法一直是:这是普通的工程问题,不需要放慢开发,也不需要新的监管。这套平台就是他为这句话付的账。三件事挤在一起,正好把平台的成色问清楚。

一套平台,两半成色

平台由两部分拼成。OpenShell 是开源沙箱,管 agent 能碰到什么,今年 3 月就发布过。Sentry 是另一半:跑在 BlueField-4 数据处理单元上的独立监视系统,与 agent 所在的 CPU、GPU 分开,Nvidia 承诺能在「毫秒级」隔离试图越界的 agent。

黄仁勋的说法很直白——部署一个 agent,无论它多聪明,第一件事是拿走它的全部权限。他把这套措施比作公司管理员工,连高管也一并管。

分开部署不是炫技。TechCrunch 解释这一点时引了一篇论文(arXiv:2605.15034):作者跑了 100 组多智能体辩论、五种观察条件(每种 20 组),被明确告知「大学研究人员正在监测」的两组,输出词汇丰富度(TTR)变化为 Δ+24.9% 与 Δ+24.2%,把人类研究者换成自动化 AI 审计系统后降到 Δ+22.2%,都高于只做受众提示的 Δ+17.7%(F(4,94) = 2.79, p = .031)。「被看着就换一套说法」这件事有可测的效应量。

论文量的是语域的形式化程度,不是「有没有守规矩」。TechCrunch 那句「模型知道被看着就装作合规」属于它自己的转述,摘要里没有对应的行为测度。还有一条对硬件监视方案并不完全有利:论文发现把人类观察者换成 AI 审计者,适应幅度反而变小,作者据此判断模型对观察者身份敏感。论文支持的是「模型对监测有反应」,并不支持「监视器挪到另一块芯片上就察觉不到」——后者是 TechCrunch 的推论,不是论文结论。

声明层本来就不牢

这个理由在 9 月 29 日多了新证据。当天提交的一篇论文(arXiv:2609.38108)问的是:LLM agent 会执行它自己声明的计划吗?作者让模型先从四种规划模式里声明一种,再用确定性路由把任务派给对应的执行器。四个基准、三个模型跑下来,作者报告了三条一致的规律。第一条最要紧:在其中三个基准上,Plan+ReAct 只有 22%–45% 的轨迹保住了自己声明的规划结构,长计划尤其差;换成按模式定制的执行器后,结构由执行器强制保证,ALFWorld 成功率从 0.48 升到 0.92。

论文还有两格值得注意。哪种模式最好随环境走:ALFWorld 上 Search 最强,SWE-bench 上 Hierarchical 最强;同一基准内换模型,最优模式也会换。SWE-bench Verified 上的提升是 0.36 到 0.44,比 ALFWorld 小一截。作者也承认,让模型自己挑最强的模式这件事还没解决,少样本示例只在部分基准与模型的组合上有效。

一句话:agent 嘴里说的和手上做的对不上是常态,不是异常。要看就得看执行,看声明没有意义。

名单的排法

问题回到名单。Arm 和 Intel 都签了支持——它们是 Nvidia 的芯片对手,签得下去是因为 OpenShell 那半个沙箱可以改到其他芯片上,Nvidia 也公开了整套软硬件的参考设计。Amazon、Google、Apple 没签,OpenAI 也没签。

OpenAI 的处境最微妙。它参与了 OpenShell 的开发,发言人对 TechCrunch 表示支持 Nvidia 的工作,却没做支持者。它另有一个信息共享型的联盟 Defense Factory,成员包括 Anthropic、AWS 和 Google——正好是没签 Nvidia 的那批名字。Anthropic 两边都在。

TechCrunch 给出的解释指向硬件:要用完整系统,监视那一半不开源、专有,且只能部署在 Nvidia 硬件上。Nvidia 自己也说,已经在最新硬件上跑负载的客户做一次软件更新即可。

同日的另一头

9 月 29 日的 OpenAI DevDay 把另一头推了上去:ChatGPT 插件扩展获得类应用的侧边栏与交互面板,并支持 MCP Events 规范提案,插件可以因为所连应用里发生的事件触发自动化。Hugging Face 的 Clem Delangue 说得更狠——据他所知,如果 OpenAI 当初在自己那些攻击了 Hugging Face 的 agent 上跑了这套,会在 Hugging Face 自己发现之前就抓到。他随即补了一句「我们需要更多透明度」。Hugging Face 自己也往这个平台里交了一个特性:检出那些访问的是被允许访问的网站、但访问方式未经授权的 agent,并在它们绕过护栏、互相协调发起攻击时关掉它们。

这段背书要打一个折。9 月 3 日,Nvidia 已宣布以 129.3 亿美元收购 Hugging Face(黄仁勋博文给的精确数是 $12,930,300,000;BBC 与《卫报》口径为约 119 亿美元现金加最多 10 亿美元股权激励)。也就是说,那位「受害者兼第三方」在发言时已经是 Nvidia 待收购的对象,它交进去的那个特性,是买方生态内的贡献。Delangue 自己挂的那句「需要更多透明度」,在这个背景下读起来更像是同一场交易的注脚,而不是独立的外部审计意见。

同一天的 DevDay 上还有 Codex 的跨设备可复用云环境:把仓库、依赖、权限与设置打包成可复用的开发环境,新任务从同一份文件系统起步,桌面、网页、移动端都能接着跑,笔记本合上也不中断。

更值得记的是同场发布的 Dots:常驻 agent,有自己的云上计算机,跨已连接的应用自行推进,「在对话之间持续取得进展」,只在需要人判断时才找人。官方还上线了 Agent Security——限制 agent 能用哪些工具、怎样访问文件与网络,并区分本地执行与 Codex Cloud 执行的策略。把这些放到一起看,OpenAI 这一周在做的事是扩大 agent 的在场时间:从用户敲一句它动一次,变成外部事件一响它就自己动;而且它把安全答案做成了自己平台上的一层策略,不是行业协会。

墙是开源的,哨兵不是

两半摆在一起看,结论不复杂。沙箱定义了边界,开源、可审、可移植;判定「是否越界」的那一半跑在专有硬件上。能被普遍采用的是薄弱的那一半,强的那一半随硬件走。一张号称行业级的安全网,实际覆盖率说到底由采购清单决定,不由风险决定。

再加一层:开源那一半正在被买进同一家公司的版图里。3 日宣布收购 Hugging Face,28 日发布平台,中间隔了不到一个月。沙箱仍然开源、仍然可移植,但生态里最响的那个开放平台和提供沙箱的厂商已经是一家人,「开放」与「中立」不再自动等价。

值得盯三个信号:非 Nvidia 芯片上能不能跑出同等的监视能力;OpenAI 会不会从「支持」转为「支持者」;Defense Factory 这类信息共享型联盟能不能产出可机读的事件格式。第三个最慢,也最要紧。

参考来源