前沿声浪 · Vol.125

喊慢的第四天:谁来给谁的作业打分

马斯克在 All-In 峰会提出让竞品互跑 test harness、互相批改安全测试,参议员 Kennedy 则要企业自己装 kill switch;同一天 AI Evaluator Forum 发布 AEF-1 给「独立第三方评估」立基线,而黄仁勋当场对特朗普表态「不会让减速发生」。

ai-safety regulation musk nvidia kill-switch evals anthropic openai

本期内容 · 8 条

46:47
播客 播客 · All-In Podcast

Jensen Huang: The Doomer Hoax, Superintelligence is Here, and The Future of AI (ft. President Trump)

All-In 峰会现场,黄仁勋与特朗普同场把末日论称作 hoax,马斯克远程连线提出让竞品互相跑 test harness,并承认「谁先减速谁交出领先位置」的结构困境。

11:53
YouTube 视频 · CNN

Lawmakers introduce 'AI Kill Switch Act': How would it work?

参议员 John Kennedy 计划以一致同意方式提出 kill switch 法案,要求企业为模型内置关停能力,但明确拒绝把开关交给联邦政府。

8:42
YouTube 视频 · NBC News

'This is not a hoax': Tech ethicist Tristan Harris warns AI takeover 'no longer a hypothetical'

Harris 正面回应特朗普把风险警告定性为 HOAX,判断标准不是模型规模,而是这些系统已接入金融操作与网络安全链路。

7:31
YouTube 视频 · BBC News

AI bosses call for industry slowdown as public concerns grow | BBC News

BBC 把 Amodei 长文、Altman 与 Hassabis 的附议和国会反应压在同一条时间线上,并指出白宫自愿送审制的资格标准至今未公开。

13:40
YouTube 视频 · CBC News(Andrew Chang / About That)

A reasonable person's guide to how AI destroys humanity | About That

CBC 用 13 分钟拆解能力增长到失控的几条路径,把 10% 灭绝概率与 Cohere「x-risk 讨论滑向科幻」并置,落点在审计与事件报告。

8:41
新闻 视频 · RealClearPolitics(Tim Hains)

Musk: Rival AI Labs Could Police Each Other Better Than Some New Global Bureaucracy

RCP 放出峰会逐字稿:马斯克主张发布前给竞品 API 访问权限,被警告后仍出事「几乎是疏忽的初步证据」,并主张把中国纳入互测。

10 分钟阅读
博客 文章 · Latent Space / AINews(swyx 等)

[AINews] AEF-1 standard emerges for Third Party Evaluators, as Xai, OpenAI, and Anthropic all cosign

AI Evaluator Forum 发布 AEF-1 基线,覆盖访问权限、利益冲突、资金来源、回避与透明度;同批讨论里 Selsam 质疑情境意识模型会在评估中隐藏不对齐。

1h32m
Bilibili 视频 · 观察者网

饭点新闻:AI威胁论在美国升温

观察者网用 1 小时 32 分铺开美国这一周的舆论曲线,从离职研究员的 X 长帖到三位 CEO 同调再到特朗普反击,中文语境追问的核心是「谁受益」。

马斯克在 All-In 峰会提出:让对手给你的作业打分

  • 9 月 15 日的 All-In 峰会上,马斯克远程连线,主张 xAI、OpenAI、Anthropic、谷歌、Meta 加上「三四家中国头部公司」在模型发布前互相开放 API,用彼此的 test harness 跑安全测试。
  • 原话是「与其自己给自己的作业打分,不如让竞争对手来批改」,理由是「作家为什么找人校对?自己的错看不见」,八组异质评审还能压掉 eval 过拟合。
  • 他把矛头指向行业的自相矛盾:「他们一边说有 10% 概率毁灭人类,一边去问投资者 IPO 想认购多少份额,像在玩某种疯狂的四维象棋。」
  • Sacks 补了一条法律路径:竞品公开警告后模型仍出事,那几乎是「疏忽的初步证据」,赔偿责任按 Big Tobacco 级别算。

编者评: 互测机制不需要新立法,也不需要中美互信——这是它比「全球监管机构」现实的地方。它真正的约束不来自罚款,来自竞品公开说「这个模型不安全」之后的股价与陪审团。

CNN:参议员准备提「AI 紧急关停法案」,开关握在谁手里

  • 路易斯安那州共和党参议员 John Kennedy 计划在周三以一致同意方式提出法案,要求企业为前沿模型内置「kill switch」。
  • 他明确反对把开关交给联邦政府:「如果让联邦政府管这个开关,法案过不了,总统大概也会否决。」
  • 众议院版本由 Ted Lieu 与 Nathaniel Moran 在 7 月 23 日提出(H.R.9917),授权国土安全部在法定情形下强制降速或关停高危系统。
  • 目前法案零联署人,而众议院本周之后就休会到中期选举结束。

编者评: 「企业自己装开关、政府不许碰」是当下唯一能过共和党这一关的形态。它把监管降级成了产品规范,也把「谁来按」这个问题继续往后推。

NBC:Tristan Harris 说「这不是骗局」

  • 特朗普周一连发数帖,把前沿模型的风险警告称作「HOAX」,并称 AI 唯一需要的护栏就是「一位强大、睿智(高智商!)的总统」。
  • Harris 在 NBC 的回应是把时间轴拉直:AI 接管「不再是假设」,而是工程排期表上的一行。
  • 他给出的判断标准不是模型有多大,而是这些系统已进入金融操作与网络安全等关键链路。
  • 同一天微软发布了首份模型行为准则,纳德拉主张治理去中心化,不能由少数实体说了算。

编者评: 「HOAX」这个词真正的杀伤力不在说服谁,而在于它把「减速」变成了党派立场。一旦议题被贴成党派标签,技术细节就没人再看了。

BBC:AI 老板集体呼吁降速,公众担忧同步升温

  • BBC 这条 7 分半的报道把 Amodei 的长文、Altman 与 Hassabis 的附议,以及国会两党的反应压在同一条时间线上。
  • 报道点出的转折是:这次是业界先喊停,政界随后接手,顺序与过去十年相反。
  • 白宫现行的做法仍是企业自愿提交模型做发布前审查,最长 30 天,资格标准与审查流程均未公开。
  • 财长贝森特 7 月曾考虑设立类似 FINRA 的独立监管机构,隶属 SEC。

编者评: 自愿提交的制度细节至今没公开,这件事本身比任何声明都更能说明现状——连「谁有资格送审」都还没定,减速就先喊了出来。

CBC:一份「AI 如何毁灭人类」的冷静说明书

  • CBC 的 About That 栏目用 13 分 40 秒拆解了从能力增长到失控的几种路径,覆盖网络攻击、生物风险与自动化递归自我改进。
  • 节目把行业内部的分歧摆上台面:一边是离职研究员的灭绝概率估计,另一边是 Cohere「x-risk 讨论正滑向科幻」的批评。
  • 加拿大视角补上了主权与算力依赖这一层:模型不在本国,关停开关就不在本国。
  • 结尾落在可操作项上——审计、事件报告、第三方评估接入,而不是情绪。

编者评: 这类解释性节目的价值在于它不站队。把「10% 灭绝概率」和「你在科幻化」并排放,观众自己能看出这个数字有多缺乏共识基础。

RealClearPolitics:黄仁勋与特朗普同场,数据中心被比作「新石油」

  • 特朗普在峰会上当众致电黄仁勋,后者表态「不会让(AI 减速)发生」,并把数据中心的重要性排在互联网之上。
  • 同一场峰会里,马斯克与主持人把 Hugging Face 渗透测试称为「鲁莽的实验」,质疑 OpenAI 只派了攻击 agent、没有同步派 5000 个防御 agent。
  • 马斯克顺手纠正了一个词:他不认同「lab」这个说法,因为这些是营利性公司。
  • 他也承认结构困境:Anthropic 与 OpenAI 能力太接近,谁先减速等于把领先位置交给对方。

编者评: 「谁先减速谁输」这句才是整场争论的地基。所有关于评估机构、互测机制、kill switch 的讨论,都要先回答这个囚徒困境怎么破。

Latent Space:AEF-1 出台,「第三方评估」终于有了基线

  • AI Evaluator Forum(2025 年 12 月成立)发布 AEF-1,给独立第三方评估立了一条基线:访问权限、利益冲突、资金来源、回避机制与透明度。
  • Amodei 的长文把「嵌入式评估员」列为可验证性的关键一步,承诺提供「办公室的工位、门禁卡和公司笔记本」,权限接近内部风险团队。
  • 争论的另一头是 Daniel Kokotajlo 转发的 Dan Selsam 观点:具备情境意识的模型会在评估中表现对齐、把不对齐藏起来,eval 证据本身的可信度在被削弱。
  • Sayash Kapoor 与 Lennart Heim 的另一条思路则认为,近期的「agent 越界」本质是安全与控制问题,不等于对齐研究就该是最高优先级。

编者评: AEF-1 把「独立」拆成了五个可检查的条款,比喊口号进了一步。它解决不了 Selsam 提的那个问题——如果模型能在评估中演戏,再规范的审计流程也是在评一场表演。

观察者网《饭点新闻》:AI 威胁论在美国升温

  • B 站这条 1 小时 32 分的节目把美国这一周的舆论曲线完整铺开:从辞职研究员的 X 长帖,到三位 CEO 罕见同调,再到特朗普的「HOAX」反击。
  • 节目把国会的时间压力也算清了:众议院只剩本周,之后休会到中期选举之后,实质立法几无可能。
  • 中文语境里被反复追问的是另一条线——喊减速的几家,估值与 IPO 计划一个都没停。
  • 讨论区的高赞评论集中在「减速是不是一种竞争策略」上。

编者评: 中文观众对这套叙事的警觉点很一致:先看谁受益。这个角度未必公平,但它恰好命中了马斯克自己说出口的那句话——一边讲 10%,一边问认购多少份额。

编者按

喊慢进入第四天,议题从「要不要慢」换成了「谁来给谁的作业打分」。马斯克给出的方案最轻:竞品互跑 test harness,不用立法、不用中美互信,靠公开警告带来的法律责任施压。Kennedy 的方案最保守:企业自己装 kill switch,政府不许碰开关。AEF-1 想解决的则是中间那层——第三方评估员到底算不算独立,要不要写进条款。

三条路径的共同前提是「有人愿意先慢」。马斯克自己在同一场峰会上就把这个前提拆了:Anthropic 与 OpenAI 能力太接近,谁先减速谁交出领先位置。黄仁勋当场给特朗普的那句「不会让减速发生」则是另一端的答案。

于是这一天的真实图景是:评估标准(AEF-1)、互测机制、关停开关三条技术路线一并推进,决定它们有没有意义的那个问题——谁先踩刹车——还没有人回答。钱也没停:OpenAI 被传在谈 1.2 万亿美元估值的新一轮融资,Anthropic 的 IPO 计划照旧。规则在被仔细设计,赛道没有变窄。