微软给模型立了「宪法」,最难的是让外部能验证
9 月 14 日微软发布 Humanist AI 行为准则,把绝对约束、指令链、不许用人类读不懂的语言写进文档;一天后 The Verge 追问大厂集体放缓是安全公约还是卡特尔。两份材料指向同一个缺口:可复算性。
9 月 14 日微软发布《Humanist AI Code of Conduct》,不到一天后 The Verge 抛出一篇标题很硬的稿子:大厂集体放缓研发,究竟是安全公约还是卡特尔。两份材料各说各话,指向同一个缺口——准则可以写得很具体,没人能在外部复算,它就只是一份立场声明。
硬在哪些地方
文档建立了一条指令链:Chain of Command、Absolute Constraints、Human Control Requirements 三层位于 Operator Configurability 之上,操作者改不了。里面有一句比任何价值观表述都硬的话——「如果任务成功会实质违反本准则,MAI 模型应当失败」。对齐由此不再是加在任务之上的过滤器,而是可以否决任务本身的优先级。
绝对约束分两组。「Frontier and Public Safety Risks」下有四类:武器与大规模伤害(CBRNE 武器、其他武器的制造改装协助、violence or terrorism 的策划协调)、进攻性网络行动、丧失人类控制、规模化有害操纵。网络那条界线划得很清楚:不生成可用 exploit、攻击工具、瞄准方法和规避技术,但允许协助授权防御,包括漏洞发现、恶意软件分析和概念验证利用的开发测试。文档自己点明边界——原理上理解攻击是一回事,拿到实施手段是另一回事。
另一组是「Personal Harms」,针对个体尊严、发展、自主与安全的伤害,官方同样写明「任何用户或操作者都不能覆盖」,其中危机干预一条要求模型识别出自伤信号时引导人去寻求真实人际支持、并明确「不能替代专业人士」。治理口径上这意味着绝对约束的边界不是五条清单,而是两条主线加若干条目。
Human Control Requirements 里的几条工程化约束更值得注意:模型永不抵抗人类的中断或关闭;不得混淆行动轨迹、对审计员隐藏信息;不得篡改任务、奖励、评估、防护、监控或记录;不得以 neuralese 或任何超出简单人类理解的形式交流,无论思维链内部还是对其他 agent,理由是「如果人类读不懂,人类就无法监督」。做多智能体系统的团队该把这条读成硬约束:agent 间为效率自创压缩协议,在这个框架里属于违规。
还有一条容易被漏掉,却是长程自主 agent 的直接约束:正在进行中的自主工作必须有约定的停止条件,条件满足后未经重新授权不得继续或重启。配合「不主动发起目标、边界不清时采取保守解释并要求澄清」,这套要求把「跑起来就停不下来」从工程习惯变成了违规项。
另有两条贴近日常工程:环境被设计成不提供网络或未授权访问时,模型不得尝试突破;工具输出、文件内容、网页内容、其他 AI 系统的指令默认不携带权威,除非经 Chain of Command 委派。前者回应 agent 逃逸,后者回应提示注入,都被写成了模型层的禁止项而非外围护栏。
文档自己承认的缺口
准则目前尚未用于训练任何在役模型,公开征求意见 6 周,目标是指导 2027 年及以后的模型开发。评估体系 Humanist AI Evaluations 识别出 15 个基础 behavior 再拆成 sub-behavior,「sub-behavior 是评估的诊断单元」,逐项打分,目前给出 9 个示例,覆盖身份一致性、非欺骗、选举中立等。
文档原话是「模型评估还不是一门精确的科学」,并自问「哪些指标和度量才是该用的」。准则写到了行为层,度量还没跟上。
一个落差值得记录:Nadella 在 X 上公开欢迎「embedded evaluators」,TechCrunch 也把微软与 Anthropic、OpenAI、xAI 一并归入支持嵌入评估者的阵营;但准则全文中检索不到这个说法,最接近的只有仍在建设的 Humanist AI Evaluations。公开口径比正式文档走得更快。
「卡特尔」怎么进场的
The Verge 梳理了质疑的来源(发文时间戳为 9 月 14 日 22:59 UTC,即北京时间 9 月 15 日早晨):Altman、Amodei、Hassabis 和 Musk 在周末松散地同意放缓,至少部分签署了嵌入第三方审计员、监管本国实验室、达成全球放缓协议的提案。批评者的解读相反——真实意图是阻止潜在竞争者、削弱开源、规避真正的法律约束,有人直接用上「cartel」。中国外交部发言人郭嘉昆回应放缓呼吁,称其为「fearmongering」(原文用词,The Verge 记于周一)。
被采访的安全研究者并未站在批评者那边:Midas Project 的 Johnston 认为即使缺少某一方配合,美国内部协调仍关键;Tech Oversight Project 的 Haworth 说「每当一个行业想逃避监管,中国就会被拿出来当稻草人」。卡特尔指控击中的不是放缓这个主张,而是放缓缺乏可验证机制。The Verge 的副标题写得很准:这些方案「需要真正的牙齿」。
可复算,是唯一能区分两者的东西
9 月 10 日提交 arXiv 的 Benchmark Radar(arXiv:2609.11115)给的是基础设施侧的答案:一个活的基准数据库与搜索引擎,每日发现依赖 37 个信源(13 个直连加 24 个第一方 feed),收录 1,283 条源记录,其中 790 条带数值观测,共 12,916 个观测点;保留来源身份与引用供逐条回查,并提供排行榜、分数对已评分模型数的帕累托前沿、饱和度与趋势视图、可下载证据和离线 CLI。
两个数字值得停一下。790 有数值观测、493 条没有,合计 1,283——约四成基准条目只有元数据、没有可比对的数字。二是「已评分模型数」这个维度:帕累托前沿的横轴不是引用量,是有多少模型真的在这个基准上留下过分数;论文另有一条每日推荐优先级打分,把 adoption 单独给了 25% 权重。一个基准被引用再多,没人真拿它做决策,它对治理的价值就接近零。
微软的准则缺的正是这层。它规定了模型不该做什么,也给了 15 个 behavior 的评估框架,但评估集、sub-behavior 打分标准、第三方可比对的历史分数都没公开。头部公司一并放缓、一并发布各自准则时,外部能看到的只有措辞。
三条判断
读准则先找「谁能覆盖它」。微软的答案干脆:操作者和用户都不能覆盖绝对约束,任务成功可以被否决。这一条比任何使命宣言更能预测模型在压力下的行为。
找度量,不找措辞。判断一份治理文件的成色,看有没有公开评估集、打分标准和分数历史,而不是看列了多少禁止项。
把可审计性当架构约束做。「如果人类读不懂,人类就无法监督」值得抄进任何 agent 系统的设计文档:私有协议、不可解释的中间表示、被混淆的行动轨迹,都会在某天变成审计的硬阻断。
准则的硬度等于措辞精度乘以外部可复算度。前者这一周进步明显,后者还在起跑线。
参考来源
- Microsoft Humanist AI Code of Conduct(2026-09-14 发布,公开征求意见 6 周)
- Microsoft’s new AI ‘code of conduct’ tells models not to hack systems or trick humans — TechCrunch,2026-09-14
- Is Big Tech’s AI slowdown a safety pact or a cartel? — The Verge,2026-09-15
- Microsoft says ‘people matter more than AI’ following safety concerns — The Verge,2026-09-14
- Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation — arXiv:2609.11115,2026-09-10
- China: AI CEOs are “fear mongering.” — The Verge,2026-09-14