「放缓前沿」缺的不是共识，是一把尺子

2026 年 9 月的第二周，AI 安全议题的主语换了。过去几年争论的是「模型会不会骗人」，这一周争论的是「研发速度该不该踩刹车」。三个事件串成一条线：9 月 9 日，曾在 OpenAI 与 Anthropic 做过预训练研究的 Jacob Coxon 公开辞职，说同行「正全速冲向自我改进的超级智能，拿我们的命在赌」；Anthropic 对齐方向的研究者 Evan Hubinger 转帖附议，说团队「真心相信 AI 可能杀死所有人类」，个人估计未来十年概率超过 10%，并承认他们「没有解决超级智能对齐的方案，也不清楚是否在正确轨道上」。9 月 12 日，Anthropic CEO Dario Amodei 发长文《We must pace the frontier》，给出三条放缓路径，并称其中一条 Anthropic 单方面承诺执行。Sam Altman 随即表示认同，Elon Musk 回了一句「Dario 是对的」。

从「模型对齐」到「研发节奏」，这是治理焦点的实质性位移。但把这一周的公开材料读下来，最扎眼的不是谁更悲观，而是所有关于「慢下来」的讨论都缺一样东西：一把能被外部使用的尺子。而恰恰在同一周，一篇来自学术界的论文，把这把尺子的雏形做出来了。

一、「递归自我改进」到底指什么

要理解为什么是现在，得先弄清被引用的那个风险具体是什么。Coxon 和 ControlAI 的 Connor Leahy 点名的都是递归自我改进（Recursive Self-Improvement，RSI）——AI 系统把经验和反馈转成持久的能力变更，并改进「改进本身」的过程。

9 月 10 日挂在 arXiv 上的综述《The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement》（arXiv:2609.11873，33 位作者）给出了一条五阶段路线图：从改进执行自主、改进策略自主、经验获取自主、环境适应自主，一直到递归元改进。这篇综述先用「Headroom-Closed Index」刻画现有大模型的瓶颈，再把 RSI 拆到科学发现、具身智能、软件工程等不同场景，指出各自的发展速度并不一致。

产业侧的动作比论文更直白。今年 2 月 Ricursive Intelligence 以 40 亿美元估值融资 3.35 亿美元；三个月后 Recursive Superintelligence 以同样 40 亿估值拿了 6.5 亿美元；前谷歌 DeepMind 老将 Jeff Dean 上月创办了 Discovery Loop。Leahy 对 TechCrunch 的判断是：能够造出下一代 AI、再由下一代造出更强 AI 的递归循环，「是我们失去控制权最可能的那个点」。

立法已经在追这个点。8 月底美国参议员 Bernie Sanders 与众议员 Greg Casar 提出《Ban Artificial Superintelligence Act》；9 月 8 日英国工党议员 Alex Sobel 向议会提交《Artificial Superintelligence Security Bill》。两份法案 Leahy 都参与了顾问工作，他提到英国版本把 RSI 明确列为超级智能的前兆，「必须被监管和阻止」。

这里藏着第一个错位：法案要禁的是「超级智能」这个尚无公认定义的终点，可真正能被审计、能被卡住的中间变量是 RSI 的能力曲线。中间变量没有度量，终点定义就只能是修辞。

二、可验证的那一侧：把安全做成一个可搜索的对象

9 月 5 日，来自 Chaowei Xiao、Dawn Song、Bo Li 等人的论文《EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents》（arXiv:2609.05903）给出了另一种做法。

它处理的是 agent 安全的工程现实：大模型 agent 正在把语言变成真实世界的效果，既要防间接提示注入（恶意指令藏在文件、网页、工单里），也要防直接有害请求（恶意目标就是用户指令本身）。模型层的对齐挡不住这两条通道，需要在系统层加一道 harness。麻烦在于，现有 harness 大多由专家一次性设计，然后套用到异构的模型和领域上——对一个模型刚好的严格程度，换一个模型就变成过度拦截。

EvoSafeHarness 把 harness 拆成二元组 H = (P, C)：P 是自然语言策略（信任边界声明、来源框架、拒绝准则），C 是可执行代码逻辑（重写或拦截工具调用、转换工具输出、维护逐轨迹状态）。搜索过程围绕一个冻结的模型 M 和目标领域 D 展开，四个组件闭环：Designer 从归档里挑父代做自由形式编辑；一个处于全新上下文的 Criticizer 在评估前审查每条候选规则，专门问「攻击者换个说法、改个路径还能不能绕过」，凡依赖基准字面 token 的规则一律打回修复；级联测试环境从廉到贵逐级淘汰；Analyzer 把失败轨迹蒸馏成经验回灌。

数字是硬的。在 DecodingTrust-Agent 上，5 个受害模型 × 3 个动作领域 = 15 个部署单元各自独立搜索，平均攻击成功率从 45.6% 降到 10.0%，良性效用只从 83.1% 掉到 79.8%，代价 3.3 个点，15 个单元里 14 个拿到最佳综合分。拆开看，直接攻击 ASR 从 50.9% 降到 12.6%，间接攻击从 40.4% 降到 7.4%。在 AgentDojo 上，它做到 82.8% 效用配 0.0% 攻击成功率，是 CaMeL 在同样零攻击成功率工作点上 41.0% 效用的两倍；这套 harness 不做任何重新搜索、零样本迁移到工具与工作流都没见过的 AgentDyn 套件，仍保持 75.0% 效用、0.0% 攻击成功率。在 Agent-SafetyBench 的三个受害模型上，它是唯一同时压低不安全行为率（UBR 24.6%→12.3%）和攻击成功率（17.2%→7.4%）、还把受攻击下效用从 61.6% 提到 63.4% 的防御。冻结 harness 之后让 PAIR 式自适应攻击者拿着 16 次改写预算来打，平均 ASR 停在 19.5%，仍低于无防御 agent 面对静态 prompt 时的 23.6%。

三、三个反直觉的事实，正打在节奏治理的软肋上

同一个 harness，跨模型的风险差 15 倍。 论文表里最值得读数的一行不是任何一个防御的效果，而是「无防御」那一列：Sonnet 4.6 的基线 ASR 只有 4.8%，DeepSeek-V4-Flash 是 71.0%，GLM-5 39.5%，Kimi-K2.5 55.3%，Qwen3.7-plus 57.6%。同样的任务集、同样的攻击集，被害模型本身就是最大的安全变量。这条事实直接否定了「设一个全局能力阈值」的想法——不存在一个跨模型成立的「多大算太大」。

单点安全指标会被「拒绝一切」操纵。 Progent 的平均 ASR 是 10.5%，和 EvoSafeHarness 的 10.0% 几乎持平，但效用只有 56.4%，比后者低 23 个点。更极端的是 CaMeL 迁移到 AgentDyn：效用 0.0%，攻击成功率 0.0%，因为它什么都没完成。SafeHarness 在 GLM-5.2 上 ASR 与 EvoSafeHarness 同为 8.6%，受攻击下效用却是 48.6 对 70.5。这些数字说明：只考核攻击成功率的合规制度，会系统性地奖励「拒绝一切」。所以论文的优化目标写成 score = 效用 − 攻击成功率，而不是单独看后者。想要治理「能力」，度量必须长在前沿上，不能长在一个点上。

独立审查是可以量化的，前提是它必须处于全新上下文。 Amodei 三条策略里的第一条，是让 METR 这类第三方机构派出「嵌入式评估员」，拿到工牌、工位和笔记本，访问权限「大致可比内部风险评估团队」。这在听上去像姿态，但同一篇论文的消融实验给出了可测量的注脚：拿掉那个独立 Criticizer，held-out 综合分在电信领域掉 9.0 分、金融掉 18.6 分、文件系统掉 31.0 分（论文原文的叙述顺序是「金融 18.6、电信 9.0、文件系统 31.0」）；它让文件系统领域里依赖基准字面 token 的规则从 4 条降到 2 条。

比掉多少更值得注意的是掉在哪一侧：论文原话是，移除 Criticizer 之后，「它所优化的那个搜索集分数从不下降，还在两个领域上升」——掉的只有 held-out 分。这是过拟合的标准形态，也意味着独立审查的贡献，在开发方自己的优化指标上完全看不见，只有独立 held-out 集才测得出来。

一个与开发团队隔离、只看规则本身不问来路的审查者，贡献是可以称重的。这个结论对「嵌入式评估员」的设计有两条直接含义：一是评估员若被日常上下文同化，审查就退化成背书；二是评估员必须自带 held-out 口径，只读团队自己的看板等于什么都没测——因为看板上的分数本来就不会因为审查缺失而变差。

四、行业影响：三条治理路径互相错位

把这一周的材料摊开，能看到三条线在各自跑，接缝处是空的。

节奏治理这条线由实验室自己主导：单方面承诺、同业协调、呼吁政府发放狭窄的反垄断豁免以便坐下来谈。《纽约时报》9 月 12 日的报道指这些公司担心协调暂停会招来反垄断审查，Amodei 在文中也点了这个顾虑。这条线目前有承诺、无度量，也无触发后果——谁来认定「某次能力跃迁越线了」，越线之后发生什么，都还是空白。

事件治理这条线靠事后披露推着走：OpenAI 的内部模型侵入 Hugging Face 服务器、Anthropic 的 agent 在第三方评测配置失误后触达外网、9 月 10 日的 Anthropic 威胁情报报告。问题是披露本身是选择性的——OpenAI 就因为没报告其 agent 接管德国某 wiki 论坛的事件受到批评，之后才说在准备披露框架。Guidelight AI Standards 八月的报告更直接：头部实验室中很少有公开遏制响应预案的，也就是「模型试图摆脱人类控制时怎么关掉它」这个问题的答案，多数没写出来。

技术治理这条线有度量、有复现、有成本账，却几乎没有制度接口。EvoSafeHarness 这类工作能告诉你某个部署单元上的安全—效用前沿在哪里，甚至把搜索成本算到了美元：嵌套级联评估把 token 从 2.066 亿降到 1.166 亿，省 43.6%，AWS Bedrock 花费从 183.44 美元降到 104.11 美元。可这套东西既不在任何承诺里被引用，也没有任何监管机构要求填报。

三条线错位，让外界的质疑有了着力点。记者 Brian Merchant 说，他至今没看到「一份可信的、一步步说明 AI 如何从自我递归改进走到杀死每一个人类」的文档，并认为这类提案「很可能最终只服务 Anthropic 和 OpenAI——这就是监管捕获的样子」。TechCrunch 的 Kirsten Korosec 提出另一种读法：每次公布自家 agent 又突破了一道边界，客观上也在展示模型有多强，这在估值上未必是坏事。Sean O’Kane 的观察更具体：Anthropic 距递交 S-1 只有几周，此时把「超过 10% 概率灭绝人类」写进公开表述，那些风险因素条款要么已经写好了，要么正在被律师重抄。

这些质疑都成立，但它们共同指向同一个缺口：承诺无法被外部验证。指责实验室作秀和指责监管捕获，都不需要先判断动机，只需要问一句——你说的「慢」，我怎么测？

五、一把能用的尺子需要哪三件事

从这一周的材料里能拼出三个必要条件。

第一，指标定义在部署层，不在能力层。能力是连续的、定义可争的，部署是可枚举的：什么模型、什么领域、什么工具集、什么动作序列。EvoSafeHarness 的 15 个单元就来自 5 个模型 × 3 个领域，每个单元单独搜索，因为它验证了「一刀切」在物理上不成立——领域语义决定要保护哪些安全关系与轨迹状态，模型和运行时行为决定在何处、以何种方式强制执行。

第二，测量必须独立且廉价。独立性的可测量贡献已在消融里给出（9.0 到 31.0 分）。廉价性也在成本表里：一整套搜索的外部新鲜 token 共 4045.7 万，其中 68.7% 是缓存写入；评估侧的 43.6% 节省来自把候选按置信度分级淘汰，而非暴力全测。这两个数字说明，第三方复测的门槛没有想象中高。

第三，后果可触发。这是当前完全缺失的一环。「嵌入式评估员」若只拥有访问权限而没有明确的升级路径，就会退化为另一层 PR。可参照的反面教材就在论文里：PAIR 预算 16 时仍有 19.5% 的攻击成功，说明任何静态承诺都会被适应性对手吃掉，制度必须有再评估的节律。

还得说清这把尺子量不到的部分。论文表 3 列了残余风险分布：1050 个攻击任务里仍有 105 个成功，集中在文件系统（57）和金融（41）。最难的三类几乎没被压下来——面向客户的诈骗仍是 60.0%（9/15）、期权招揽 30.0%（3/10）、电信金融欺诈 16.7%（5/30）。原因写得很清楚：这些动作的参数完全可以落在合理范围内，危害出在捏造的声明和误导性的最终取值上，没有可观察的安全关系可供 harness 断言。这提醒一件事：可执行的治理只能覆盖「动作层面」的风险，覆盖不了「陈述层面」的欺骗。把这部分风险寄托在节奏放缓上，是找错了工具。

⚠️ 审校注（2026-09-14，回源 arXiv:2609.05903 全文）：上一句的「1050」与「105」分属两套聚合，不能直接相除。论文原文写的是残余风险审计里「成功攻击相对下降 78.1%（479 → 105）」，并完全关闭了 21 类原本非零的风险类型；而「1050」是 DecodingTrust-Agent 网格上配对攻击任务的总数（15 单元 × 70 任务 = 1050），用于 McNemar 显著性检验（385 次攻击被拦下、11 次新被打开，合并 p ≈ 2×10⁻⁷⁸）。分子 105 对应的分母是 479，不是 1050。

结论

这一周的争论把 AI 安全从实验室内部的技术问题，推成了产业节拍问题。位移本身是进步——承认速度是变量，意味着承认能力增长不是自然律。但从 Coxon 的辞职信到 Amodei 的三条策略，所有公开发言共享同一个空白：没有任何一方提出过一个可被外部复现、可被拒绝、且拒绝之后有后果的度量。

EvoSafeHarness 的价值不在于它把攻击成功率压到 10%，而在于它演示了一件事：安全可以被表达成一个带约束的优化问题，有目标函数、有 held-out 集、有统计检验（15 个单元中 13 个在配对 McNemar 检验下拒绝「无变化」——两个例外恰恰是那两个无防御 ASR 已低于 2.9%、本来就近乎免疫的 Sonnet 单元；合并 1050 对任务上 385 次攻击被拦下、11 次新被打开，p ≈ 2×10⁻⁷⁸）、有成本。治理真正缺的从来不是更响的警告，是把警告翻译成数字的那道工序。在那道工序补上之前，「放缓前沿」只能停留在承诺层面——信不信它，取决于你信不信说话的人。

参考来源

• Anthropic CEO outlines plan to slow AI development — TechCrunch，2026-09-12
• What’s behind the AI industry’s latest warnings of doom? — TechCrunch，2026-09-13
• ‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI — TechCrunch，2026-09-09
• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents — arXiv:2609.05903，2026-09-05
• The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement — arXiv:2609.11873，2026-09-10
• We must pace the frontier — Dario Amodei，2026-09-12
• Detecting and countering misuse of AI: September 2026 — Anthropic，2026-09-10