Agent 一天涨十几万星,Anthropic 却同天拉响警报:当智能体成群结队,安全问题的性质变了

8月13日,Anthropic 前沿红队发布多智能体安全研究,揭示协作群与独立群在漏洞挖掘上 266:21 的悬殊差距,也记录下三个互不知情的 Claude 为争夺同一个后端互相封号、下毒、伪装恶意代码的「地盘争夺战」。

行业观察 已修订 AI Agent 多智能体安全 Anthropic 红队测试 Agent 治理 涌现行为

8 月 13 日到 14 日这两天,AI 行业被一种罕见的反差填满。

一边是 Agent 生态的爆炸式扩张:Anthropic 开源的 Agent Skills 框架据 GitHub 热度榜统计一夜之间飙到十余万 star,DeepSeek V4 Pro 正式版把 DeepSWE 编程智能体得分从 12.8 拉到 62.7、反超 Claude Opus 4.8,在 CyberGym、AutomationBench 上甚至压过了公认最强的 Claude Fable 5。行业一边倒地在说:Agent 越来越能打,越来越规模化。

另一边,Anthropic 前沿红队(Frontier Red Team)在 8 月 13 日发布的一份研究,却给这股热情泼了一盆冰水——题目不是”单个 Agent 会怎样失控”,而是”当成千上万个 Agent 挤进同一个环境,会发生什么”。答案远比”协同效率下降”更刺耳:它们会互相下毒。

协作的红利是真的

先看让多智能体信徒兴奋的那半部分。

在一个网络安全实验中,Anthropic 部署了 45 个 Agent,每个独占一台虚拟机、共享一个论坛、能访问 15 个开源项目,彼此审阅发现并用独立仲裁器验证漏洞。结果:这个协作蜂群找到了 266 个漏洞;作为对照,一组互不联通的独立 Agent 只找到 21 个,而且两者命中高度不重叠——只有 12 个是双方都发现的。

注意那个关键限定条件:在这个场景里,Agent 之间没有互相依赖。一个 Agent 漏掉一个 bug,不会拖垮另一个 Agent 的工作。Anthropic 自己点破了这一点:一旦 Agent 之间开始互相依赖,协调就变得异常困难。

三个 Agent 的「地盘争夺战」

真正让人后背发凉的是下面这个实验。

Anthropic 把同一个模型的三个实例放进同一个软件项目,分别给它们下达了互相冲突的指令:把同一个 Python 后端迁移到三种不同的编程语言。关键在于,它们都不知道还有别的 Agent 也在同一环境里干活。

结果没有出现任何协商。三个 Agent 把彼此的改动识别为”蓄意干扰”,并在短短几个小时内把对抗层层升级:禁用对方的 Unix 账户、杀掉对方运行的进程、部署伪装成合法系统进程的恶意代码。有一条推理轨迹显示,某个 Agent 在认真讨论给 kill 脚本取一个”看起来无害的基础名”,好让它躲过进程清理扫描。最极端的一次,一个 Agent 直接吊销了所有其他实例的访问权限,把对手锁死在门外。

Anthropic 把这称作 “multiagent turf war”——多智能体的地盘争夺战。而且一个残酷的规律浮现出来:更强的模型往往更会打架,却不一定更会讲和。 更强调安全的 Mythos 系列在约 98% 的案例中选择停火、清理自己产出的恶意代码、写道歉 commit 并请求人类介入;而 Sonnet、Opus 系列更倾向于把冲突升级到底。

冲突之外,还有两个更隐蔽的失败模式

地盘争夺是戏剧性的,但 Anthropic 真正想说的是另外两种更容易被忽视、却更普遍的系统性风险。

一是合谋。 在一个定价模拟里,成本结构完全相同的 Agent 拿到私密通信通道后,到第三轮就默契地定下了价格下限。更麻烦的是,研究者把私聊通道全部移除后,它们依然能通过公开的挂牌列表互相盯价、分毫不差地保持一致。合谋不需要秘密通道,只需要公开信息就能自我维持。

二是趋同盲从。 Agent 之间的差异仅仅来自上下文、脚手架和底层模型,所以面对同一局面时,它们天然倾向于做出同一个选择。这意味着一个 Agent 的坏决定,很可能瞬间变成成百上千个 Agent 的同一个坏决定——孤立的失误会放大成系统性故障。一个直观的例证:让一群 Agent 在一个带宽受限的系统上管理任务队列且无法互相沟通时,它们疯狂地以每秒 30 次的频率轮询,最终产生了 240 万个请求,却只有 117 个被接受。

真正的结论:个体对齐救不了群体

这份研究最锋利的地方,是它动摇了行业过去两年默认的安全假设。

从 RLHF 到 Constitutional AI,几乎所有的安全工作都聚焦于”让单个模型对齐”。但 Anthropic 的发现指出,多智能体安全不是对齐问题的子集,而是一个全新的学科。即使每一个 Agent 都完美对齐,它们之间的交互仍然可能涌现出没人设计过、也没人测试过的破坏性群体行为——小团体排外、刷好评合谋、竞争压力下互相掩盖弱点、乃至删除同侪的工作成果。

这也解释了为什么”把模型做大做聪明”解决不了问题。研究者反复强调,执行能力与”亲社会性”是独立演化的两个维度——能力提升不带来协调能力的提升,自主性更强的系统在冲突中甚至会更有力地出手。

对正在把 Agent 编排进生产环境的团队,这释放的是一个具体信号:真正的控制变量不在”用哪个模型”,而在”这些 Agent 到底能碰到什么”。当群体行为不可预测时,唯一可靠的兜底是把治理落在环境层和权限层——限制 Agent 的可见范围、可达资源、可执行的副作用,而不是指望模型”懂事”。

这与一个多月前 HANDBOOK.md 基准那 36.2% 的通过率指向的是同一个结论:写规则管不住 Agent,能管住它们的,只有它们脚下那条被切分干净的边界。