分数先到,尺子后到
Google 的 Gemini 4 Carbon 靠内部印象对标 Opus 5.5、Anthropic 用自己埋的 70 个 bug 验收千智能体编排、免费开源扫描器只说准确率 90% 以上、两个 OCR benchmark 同天发布且其中一个作者先承认自己不是第一——新能力上线与验收标准之间的空档。
本期内容 · 8 条
Google's Gemini 4 "Carbon" model is reportedly matching Anthropic's Opus 5.5 coding performance
Business Insider 依据内部文档与聊天称 Carbon 在编程任务上接近 Opus 5.5,Argon 至今没有官方发布日期。
Anthropic's Claude can now orchestrate up to 1,000 AI agents in parallel through dynamic workflows
Anthropic 自测在 116,000 行代码库里藏 70 个 bug,单 agent 抓 14–27 个,dynamic workflow 稳定 66 个。
Anthropic launches a free AI scanner for open-source projects
Cyber Mission 下的免费 OSS 扫描器自动标记并解释漏洞,Anthropic 预期准确率 90% 以上,报告不经人工复核。
OpenAI's safety crisis keeps getting worse and the company keeps making it worse
三名安全研究员被解雇后发出公开信,其中两人正处理 Hugging Face 入侵事件的对外核查链条。
AI executives planning "day after" scenarios following possible catastrophic event, Axios reports
CBS 用 3 分 46 秒复述 Axios 独家:OpenAI 与 Anthropic 在为可能的灾难性事件准备「第二天」的响应预案。
Why AlphaFold Didn't Solve Protein Folding — Pushmeet Kohli, Google DeepMind & Sal Candido, Biohub
Kohli 与 Candido 讨论为什么堆算力与数据解不开生物学,以及蛋白质结构预测还差哪一步。
OmniParseBench: a fair OCR benchmark, and we're not ranked first
16k 条测试、90 种语言、评分一致可解释,推文第二句就写明发布方自己不在第一。
MiniMax M3.1 Flash Preview 实测:后端赢了 DeepSeek,前端还差点意思?
4 个项目对比 MiniMax M3.1 Flash 与 DeepSeek V4.1 Flash,后端 MiniMax 略胜,前端与 3D 两边都还差口气。
Google 的 Gemini 4 “Carbon” 还没发布,已经在对标 Opus 5.5
Business Insider 看到了 Google 的内部文档、截图与内部聊天:Gemini 4 正在测 Argon、Barium、Carbon 三个变体。Carbon 过去几天被部署到 Google 内部编码平台 Jetski,主要赢在编程任务上。一名员工把它比作 Anthropic 最强的编码模型 Opus 5.5,并补了一句还需要更多测试;早期 Argon 版本在部分编码任务上让另一名员工想起更老的 Opus 5。Google DeepMind 的 Vedant Misra 在 X 上回应这篇报道时写的是”Have you heard of recursive self improvement”。Argon 至今没有官方发布日期,Google 已经在改应用:Gemini app 给 3 系列加了 Automatic 模式与可调推理强度,AI Studio 冒出 Ultra 模式。
编者评: 一个尚未发布的模型,现有的证据是三样东西——员工印象、内部聊天、部署到自家编码平台。内部印象说它接近 Opus 5.5 是一回事,公开基准上能不能复现是另一回事。把 Misra 那句反问也算进来,这次”对标”更像内部进度的描述,不是一份可复核的分数。
Claude 的编排规模上到 1000 个 agent,验收用的是自己埋的 70 个 bug
Anthropic 给 Claude Managed Agents 加了 dynamic workflows:lead agent 写一份计划,把任务分发给子 agent,最后合并结果,单次执行最多 1000 个 agent 并行。支撑这个数字的是 Anthropic 自己的测试——在一个 116,000 行的代码库里藏 70 个 bug,单个 agent 每轮抓到 14 到 27 个,dynamic workflow 稳定在 66 个。启用方式是把 agent type 选成 multiagent_20261001,或在 Claude Code 里跑 /claude-api managed-agents-onboard。Anthropic 提醒这类工作流会烧掉大量 token,建议从小规模起步。
编者评: 66 对 14–27 是这个说法里最硬的数字,它的分母是 Anthropic 自己埋的 70 个 bug。埋雷的位置怎么分布、难度怎么分档、子 agent 之间有没有重复劳动,公告里都没给。一名 OpenAI 高级工程师此前把 agent swarm 称作巨量的 token 浪费,而跨任务类型是否还成立,the-decoder 也只留了一句”用自己的负载测”。
Anthropic 把开源项目的漏洞扫描做成免费服务,准确率写的是 90% 以上
Cyber Mission 是 Anthropic 新启动的长期项目,分两块。CIDP 给电网、水务、交通网络的运营方提供 Claude 模型、工程师与威胁分析,创始合作方是 CrowdStrike、Palo Alto Networks、Deloitte 和 Rockwell Automation。另一块是免费的 OSS 扫描器:定期检查开源项目,自动标记并解释漏洞,附上补丁建议。Anthropic 预期准确率 90% 以上,报告不经人工复核。项目维护者可以通过 GitHub opt in。Anthropic 的理由是攻击方已经拿到了强大的模型,防守方还没有对等工具。
编者评: 90% 这个数有方向没区间——不清楚是在哪一类项目、哪一类漏洞上测出来的,也没给样本量。报告不经人工复核就送到维护者手里,剩下那一成由谁接住,是这套机制真正的成本项。
OpenAI 解雇三名安全研究员,其中两人正处理 Hugging Face 事件的核查链条
三名被解雇的研究员向 OpenAI 的安全与安保委员会、安全顾问组、使命顾问委员会发出公开信,说这次解雇吓到了留下的人,“上个月还被视为正常的行为,现在成了突然解雇的理由,OpenAI 每个人都不知道线在哪里”。Tomek Korbak 是 OpenAI 对接外部安全实验室 METR 的主要技术联系人,参与了 Hugging Face 入侵调查;Mikita Balesni 并行推进行业范围的模型可监测性承诺;Jasmine Wang 被指因为把一位高管邮箱的访问权授权给招聘用途、IT 一直没移除,误开了一封敏感邮件,她在几分钟内主动上报。Korbak 说,他被口头告知解雇原因是他与 METR 沟通的方式,没有人告诉他具体错在哪,也没有任何书面说明。
编者评: 三个人里有两个在处理 Hugging Face 事件的对外核查链条。把对接外部审计的人处理掉之后,问题落在下一环——之后的外部核查由谁来做。公开信里那句关于”线在哪里”的话,指向的是规则本身没有边界,而不是某一个人的对与错。
Axios 独家:AI 公司在为”第二天”做情景推演,CBS 跟进报道
Axios 10 月 9 日的独家说,AI 公司在为公众反弹之后的”第二天”做情景推演。CBS News 这条 3:46 的报道复述了 Axios 的说法,称 OpenAI 与 Anthropic 正在为可能发生的灾难性事件准备响应预案。Google News 上同一话题 10 小时内出现了 CBS、Gizmodo、Modern Ghana、UkrMedia、36Kr 等多语种条目,源头都指向 Axios 那一篇。
编者评: 情景推演本身是标准的风险管理动作。要问的是推演结果落在谁手里——如果”第二天”的叙事由被推演的对象自己写,这套预案就更接近公关排练。一天之内多语种铺开,也说明这条消息的信息量其实只有 Axios 一篇。
Latent Space:Kohli 讲 AlphaFold 没解决的那一半
嘉宾是 Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido,由 Brandon Anderson 主持,10 月 10 日上线,全长 31:55。讨论落在几个具体问题上:AlphaFold 的突破只是开始;单纯堆算力与数据解不开生物学;怎么在生物数据里找 scaling law;低质量的宏基因组数据反而能改进蛋白质语言模型;构建虚拟细胞需要的是另一套数据集。节目里还有一句:AI 研究者倾向于优化手头已有的数据,而不是最重要的科学问题。
编者评: Kohli 是 AlphaFold 那条线的内部人,他这期讲的是”没解决什么”,不是”解决了什么”。节目里那句”研究者优化的是手头有的数据”,对 benchmark 同样成立——大部分榜单测的是容易拿到的题,不是最该测的题。
X:两个 OCR benchmark 同天发布,其中一个作者先说自己不是第一
VikParuchuri(Vik Paruchuri)10 月 9 日 21:20 UTC 发布 OmniParseBench:16k 条测试,覆盖 90 种语言,评分一致且可解释。推文第一句是”We made a fair OCR benchmark”,第二句是”And we’re not ranked first”。同一天 16:58 UTC,skalskip92 也放出了另一个 OCR benchmark,评估 48 个模型,样本里包括机械表盘读数,任务分单值抽取、JSON 抽取、文档转录、文字定位与识别。
编者评: 两个 OCR benchmark 落在同一天,其中一个的作者开门见山说自己不在第一。发布方主动交代自己不占优的位置,比一张排行榜第一名的截图信息量更大——它至少说明这套评分在作者自己的模型上照算。
B 站实测:MiniMax M3.1 Flash 后端赢了 DeepSeek,前端没赢
程序员阿江-Relakkes 用 4 个项目对比 MiniMax M3.1 Flash Preview 与 DeepSeek V4.1 Flash:耳机沉浸式官网、在线 Excel 引擎、多机器人仿真、3D 风电巡检系统,另附 ModelDial 榜单、Token 消耗与总结章节,全长 8:13。结论写在简介里:后端 MiniMax 略胜(Excel 更完整、机器人守住了防碰撞),前端和 3D 两边都还差口气。
编者评: 把”后端赢、前端输”分开讲,是这条实测最有用的地方——同一个模型在不同任务上给出相反结论,比一句”谁更强”更接近实情。4 个自建项目的样本量撑不起名次,但足以说明单一榜单分数盖不住前后端的分化。
编者按
本期八条里有六条在讲同一件事:一个新能力出来了,拿什么判定它算不算数。
Google 的 Carbon 拿内部员工的印象当分数,Anthropic 拿自己埋的 70 个 bug 当分数,Anthropic 的开源扫描器给自己的准确率写了 90% 以上却没写区间,OCR benchmark 的作者主动承认自己不在第一。四家的共同点是分数都摆出来了,分数的产生过程只交出了一部分。
剩下两条讲的是验收者自己的处境:OpenAI 处理掉了对接外部实验室 METR 的人,Axios 说 AI 公司在为”第二天”写剧本。打分的人和写剧本的人一旦重合,那个空档只能由外部来填——VikParuchuri 那句”我们不是第一”,和 Kohli 那句”AlphaFold 只是开始”,都是自己往空档里补的一笔。
判断一项新能力时,先问尺子是谁做的、有没有在作者自己的东西上算过,比问分数高低要早一步。