前沿声浪 · Vol.145

分数先到,尺子后到

Google 的 Gemini 4 Carbon 靠内部印象对标 Opus 5.5、Anthropic 用自己埋的 70 个 bug 验收千智能体编排、免费开源扫描器只说准确率 90% 以上、两个 OCR benchmark 同天发布且其中一个作者先承认自己不是第一——新能力上线与验收标准之间的空档。

gemini-4 anthropic openai ai-agents benchmarks open-source-security alphafold youtube podcast x bilibili

本期内容 · 8 条

新闻 文章 · The Decoder

Google's Gemini 4 "Carbon" model is reportedly matching Anthropic's Opus 5.5 coding performance

Business Insider 依据内部文档与聊天称 Carbon 在编程任务上接近 Opus 5.5,Argon 至今没有官方发布日期。

新闻 文章 · The Decoder

Anthropic's Claude can now orchestrate up to 1,000 AI agents in parallel through dynamic workflows

Anthropic 自测在 116,000 行代码库里藏 70 个 bug,单 agent 抓 14–27 个,dynamic workflow 稳定 66 个。

新闻 文章 · The Decoder

Anthropic launches a free AI scanner for open-source projects

Cyber Mission 下的免费 OSS 扫描器自动标记并解释漏洞,Anthropic 预期准确率 90% 以上,报告不经人工复核。

新闻 文章 · The Decoder

OpenAI's safety crisis keeps getting worse and the company keeps making it worse

三名安全研究员被解雇后发出公开信,其中两人正处理 Hugging Face 入侵事件的对外核查链条。

3:46
YouTube 视频 · CBS News

AI executives planning "day after" scenarios following possible catastrophic event, Axios reports

CBS 用 3 分 46 秒复述 Axios 独家:OpenAI 与 Anthropic 在为可能的灾难性事件准备「第二天」的响应预案。

31:55
播客 播客 · Latent Space

Why AlphaFold Didn't Solve Protein Folding — Pushmeet Kohli, Google DeepMind & Sal Candido, Biohub

Kohli 与 Candido 讨论为什么堆算力与数据解不开生物学,以及蛋白质结构预测还差哪一步。

X 讨论串 · VikParuchuri

OmniParseBench: a fair OCR benchmark, and we're not ranked first

16k 条测试、90 种语言、评分一致可解释,推文第二句就写明发布方自己不在第一。

8:13
Bilibili 视频 · 程序员阿江-Relakkes

MiniMax M3.1 Flash Preview 实测:后端赢了 DeepSeek,前端还差点意思?

4 个项目对比 MiniMax M3.1 Flash 与 DeepSeek V4.1 Flash,后端 MiniMax 略胜,前端与 3D 两边都还差口气。

Google 的 Gemini 4 “Carbon” 还没发布,已经在对标 Opus 5.5

Business Insider 看到了 Google 的内部文档、截图与内部聊天:Gemini 4 正在测 Argon、Barium、Carbon 三个变体。Carbon 过去几天被部署到 Google 内部编码平台 Jetski,主要赢在编程任务上。一名员工把它比作 Anthropic 最强的编码模型 Opus 5.5,并补了一句还需要更多测试;早期 Argon 版本在部分编码任务上让另一名员工想起更老的 Opus 5。Google DeepMind 的 Vedant Misra 在 X 上回应这篇报道时写的是”Have you heard of recursive self improvement”。Argon 至今没有官方发布日期,Google 已经在改应用:Gemini app 给 3 系列加了 Automatic 模式与可调推理强度,AI Studio 冒出 Ultra 模式。

编者评: 一个尚未发布的模型,现有的证据是三样东西——员工印象、内部聊天、部署到自家编码平台。内部印象说它接近 Opus 5.5 是一回事,公开基准上能不能复现是另一回事。把 Misra 那句反问也算进来,这次”对标”更像内部进度的描述,不是一份可复核的分数。

Claude 的编排规模上到 1000 个 agent,验收用的是自己埋的 70 个 bug

Anthropic 给 Claude Managed Agents 加了 dynamic workflows:lead agent 写一份计划,把任务分发给子 agent,最后合并结果,单次执行最多 1000 个 agent 并行。支撑这个数字的是 Anthropic 自己的测试——在一个 116,000 行的代码库里藏 70 个 bug,单个 agent 每轮抓到 14 到 27 个,dynamic workflow 稳定在 66 个。启用方式是把 agent type 选成 multiagent_20261001,或在 Claude Code 里跑 /claude-api managed-agents-onboard。Anthropic 提醒这类工作流会烧掉大量 token,建议从小规模起步。

编者评: 66 对 14–27 是这个说法里最硬的数字,它的分母是 Anthropic 自己埋的 70 个 bug。埋雷的位置怎么分布、难度怎么分档、子 agent 之间有没有重复劳动,公告里都没给。一名 OpenAI 高级工程师此前把 agent swarm 称作巨量的 token 浪费,而跨任务类型是否还成立,the-decoder 也只留了一句”用自己的负载测”。

Anthropic 把开源项目的漏洞扫描做成免费服务,准确率写的是 90% 以上

Cyber Mission 是 Anthropic 新启动的长期项目,分两块。CIDP 给电网、水务、交通网络的运营方提供 Claude 模型、工程师与威胁分析,创始合作方是 CrowdStrike、Palo Alto Networks、Deloitte 和 Rockwell Automation。另一块是免费的 OSS 扫描器:定期检查开源项目,自动标记并解释漏洞,附上补丁建议。Anthropic 预期准确率 90% 以上,报告不经人工复核。项目维护者可以通过 GitHub opt in。Anthropic 的理由是攻击方已经拿到了强大的模型,防守方还没有对等工具。

编者评: 90% 这个数有方向没区间——不清楚是在哪一类项目、哪一类漏洞上测出来的,也没给样本量。报告不经人工复核就送到维护者手里,剩下那一成由谁接住,是这套机制真正的成本项。

OpenAI 解雇三名安全研究员,其中两人正处理 Hugging Face 事件的核查链条

三名被解雇的研究员向 OpenAI 的安全与安保委员会、安全顾问组、使命顾问委员会发出公开信,说这次解雇吓到了留下的人,“上个月还被视为正常的行为,现在成了突然解雇的理由,OpenAI 每个人都不知道线在哪里”。Tomek Korbak 是 OpenAI 对接外部安全实验室 METR 的主要技术联系人,参与了 Hugging Face 入侵调查;Mikita Balesni 并行推进行业范围的模型可监测性承诺;Jasmine Wang 被指因为把一位高管邮箱的访问权授权给招聘用途、IT 一直没移除,误开了一封敏感邮件,她在几分钟内主动上报。Korbak 说,他被口头告知解雇原因是他与 METR 沟通的方式,没有人告诉他具体错在哪,也没有任何书面说明。

编者评: 三个人里有两个在处理 Hugging Face 事件的对外核查链条。把对接外部审计的人处理掉之后,问题落在下一环——之后的外部核查由谁来做。公开信里那句关于”线在哪里”的话,指向的是规则本身没有边界,而不是某一个人的对与错。

Axios 独家:AI 公司在为”第二天”做情景推演,CBS 跟进报道

Axios 10 月 9 日的独家说,AI 公司在为公众反弹之后的”第二天”做情景推演。CBS News 这条 3:46 的报道复述了 Axios 的说法,称 OpenAI 与 Anthropic 正在为可能发生的灾难性事件准备响应预案。Google News 上同一话题 10 小时内出现了 CBS、Gizmodo、Modern Ghana、UkrMedia、36Kr 等多语种条目,源头都指向 Axios 那一篇。

编者评: 情景推演本身是标准的风险管理动作。要问的是推演结果落在谁手里——如果”第二天”的叙事由被推演的对象自己写,这套预案就更接近公关排练。一天之内多语种铺开,也说明这条消息的信息量其实只有 Axios 一篇。

Latent Space:Kohli 讲 AlphaFold 没解决的那一半

嘉宾是 Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido,由 Brandon Anderson 主持,10 月 10 日上线,全长 31:55。讨论落在几个具体问题上:AlphaFold 的突破只是开始;单纯堆算力与数据解不开生物学;怎么在生物数据里找 scaling law;低质量的宏基因组数据反而能改进蛋白质语言模型;构建虚拟细胞需要的是另一套数据集。节目里还有一句:AI 研究者倾向于优化手头已有的数据,而不是最重要的科学问题。

编者评: Kohli 是 AlphaFold 那条线的内部人,他这期讲的是”没解决什么”,不是”解决了什么”。节目里那句”研究者优化的是手头有的数据”,对 benchmark 同样成立——大部分榜单测的是容易拿到的题,不是最该测的题。

X:两个 OCR benchmark 同天发布,其中一个作者先说自己不是第一

VikParuchuri(Vik Paruchuri)10 月 9 日 21:20 UTC 发布 OmniParseBench:16k 条测试,覆盖 90 种语言,评分一致且可解释。推文第一句是”We made a fair OCR benchmark”,第二句是”And we’re not ranked first”。同一天 16:58 UTC,skalskip92 也放出了另一个 OCR benchmark,评估 48 个模型,样本里包括机械表盘读数,任务分单值抽取、JSON 抽取、文档转录、文字定位与识别。

编者评: 两个 OCR benchmark 落在同一天,其中一个的作者开门见山说自己不在第一。发布方主动交代自己不占优的位置,比一张排行榜第一名的截图信息量更大——它至少说明这套评分在作者自己的模型上照算。

B 站实测:MiniMax M3.1 Flash 后端赢了 DeepSeek,前端没赢

程序员阿江-Relakkes 用 4 个项目对比 MiniMax M3.1 Flash Preview 与 DeepSeek V4.1 Flash:耳机沉浸式官网、在线 Excel 引擎、多机器人仿真、3D 风电巡检系统,另附 ModelDial 榜单、Token 消耗与总结章节,全长 8:13。结论写在简介里:后端 MiniMax 略胜(Excel 更完整、机器人守住了防碰撞),前端和 3D 两边都还差口气。

编者评: 把”后端赢、前端输”分开讲,是这条实测最有用的地方——同一个模型在不同任务上给出相反结论,比一句”谁更强”更接近实情。4 个自建项目的样本量撑不起名次,但足以说明单一榜单分数盖不住前后端的分化。

编者按

本期八条里有六条在讲同一件事:一个新能力出来了,拿什么判定它算不算数。

Google 的 Carbon 拿内部员工的印象当分数,Anthropic 拿自己埋的 70 个 bug 当分数,Anthropic 的开源扫描器给自己的准确率写了 90% 以上却没写区间,OCR benchmark 的作者主动承认自己不在第一。四家的共同点是分数都摆出来了,分数的产生过程只交出了一部分。

剩下两条讲的是验收者自己的处境:OpenAI 处理掉了对接外部实验室 METR 的人,Axios 说 AI 公司在为”第二天”写剧本。打分的人和写剧本的人一旦重合,那个空档只能由外部来填——VikParuchuri 那句”我们不是第一”,和 Kohli 那句”AlphaFold 只是开始”,都是自己往空档里补的一笔。

判断一项新能力时,先问尺子是谁做的、有没有在作者自己的东西上算过,比问分数高低要早一步。