Sonnet 5.5 七倍跳跃附两份口径说明、Holo4 开源全部评测轨迹：分数的交付方式在分化
Anthropic 发布 Claude Sonnet 5.5，Terminal-Bench 4.0 从 10.3% 跳到 70.6% 并自曝两条口径缺陷；H Company 开源 Holo4 与 7366 条评测轨迹；Gemma 4 行为测评与词表自映射两篇论文各自把样本量与失败估计量写进结论。
本期四条都在回答同一个问题：一个分数凭什么被信。Anthropic 把 Sonnet 5.5 在 Terminal-Bench 4.0 上的七倍跳跃，连同两条自曝的口径缺陷一起交了出来；H Company 把 27B 模型刷 OSWorld 2.0 的每一条轨迹开源；剩下两篇论文，一篇把 n=13 写进结论，一篇预注册了估计量并把失败的那个报得和存活的一样完整。
Claude Sonnet 5.5：七倍跳跃之外，附了两份口径说明
事件概述
2026 年 9 月 28 日，Anthropic 发布 Claude Sonnet 5.5，是 Claude 5.5 家族的第二款模型。官方定位为 Opus 5.5 的低成本补充：面向边界清晰的任务、修 bug、做文档幻灯片表格。定价与 Sonnet 5 持平（输入 2 美元/百万 token、输出 10 美元、缓存读取 0.20 美元、缓存写入 2.50 美元；Opus 5.5 为 4/20/0.20/5），生成速度快 30% 以上，单任务成本高至降低 30%。Haiku 5.5 的排期是数周后。
技术解析
Agentic coding 是变化最大的一项。Terminal-Bench 4.0 上 Sonnet 5.5 拿到 70.6%，Sonnet 5 只有 10.3%，Opus 5.5 在 Xhigh effort 下是 66.4%。CursorBench 4.0 上 55.5% 对 Sonnet 5 的 34.1%，距 Opus 5.5 的 57.8% 约两个点。知识工作侧，GDPval-AA v2.1 得分 1844，Sonnet 5 为 1449，Opus 5.5 为 1846，GPT-6 Sol 为 1487；AA-Briefcase v1.1 上 1811 对 1359/1822/1483。计算机使用 OSWorld 2.1 部分分 80.1%（Sonnet 5 为 57.0%），图表识别 Chartography 61.6%（Sonnet 5 为 15.6%）。官方还称它是首个仅凭截图通关《宝可梦 红》的 Sonnet 模型。
安全侧的改动更值得记。Sonnet 5.5 是首个带网络安全护栏的 Sonnet 模型（高风险任务会可见地回退到 Sonnet 5），首个带防推理抽取分类器的 Sonnet 模型，并扩展了 preserved thinking，让思考过程无法与生成它的账号解耦。自动化行为审计覆盖约 1850 个场景。
真正有意思的是 Anthropic 自己放进注脚的两条。其一，FrontierCode 1.1 上 Sonnet 5.5 在 Max effort 得分 46.2%，低于 Xhigh——Max effort 下它更频繁调用 Claude Code 的 code-review skill，把评审拆给多个子 agent，结果两次触发超时、两次产生超出任务范围的改动，而 FrontierCode 对超范围改动扣分，哪怕改动质量很高。其二，Artificial Analysis 跑 GDPval-AA 和 AA-Briefcase 用的是预发布部署，该部署存在结构化输出相关的 bug，官方认为影响很小且方向是低估。Terminal-Bench 与 OpenAI 都没公开 GPT-6 Sol 的成绩，Anthropic 改报 GPT-5.6 Sol。
行业影响
70.6% 高于 Opus 5.5 的 66.4%，却不能读成「Sonnet 超过了 Opus」。Anthropic 在正文里明写：基准分数只捕捉能力的一个侧面，在需要持续判断的复杂开放任务上，Opus 5.5 依旧明显更强，Sonnet 5.5 的性价比优势集中在中低 effort 档位。这构成一个越来越常见的读法陷阱——同一个数字在「单任务成本」坐标系里和在「开放式任务质量」坐标系里名次不同。Anthropic 把 Max effort 反而掉分的原因写成公开注脚，等于承认了 effort 档位本身是一个会改变结论的变量，而不只是一个省钱开关。
把安全侧三项改动连起来看，另一个转向更清楚：防蒸馏分类器、preserved thinking、cyber 护栏都不是能力增强，堵的是「能力被搬走」这个口子。Sonnet 级别模型此前被认为不值得这套配置，现在被纳入，说明门槛判断的依据从「模型有多强」转向了「这个模型的能力搬走之后有多难管」。
相关链接
Holo4：27B 开源权重刷 OSWorld 2.0，把每一条轨迹都公开
事件概述
H Company 于 2026 年 9 月 28 日在 Hugging Face 与自家 newsroom 同步发布 Holo4 系列 agentic 模型，两个规格：27B dense 与 35B-A3B MoE，权重以 BF16、FP8、NVFP4、4-bit GGUF 放出，并上线 H Models API。模型卡写明 27B 走 Qwen3.8 dense 架构、35B-A3B 走 Qwen3.5 MoE 架构，均为视觉语言模型，上下文 262144 token，权重许可为 CC BY-NC 4.0（非商用）。同批还发布了把同一套后训练配方套到 NVIDIA Nemotron 3 Nano Omni 上的 Holotron4 Nano。配套 harness（hai-agents）同样开源。
技术解析
Holo4 的卖点是「一个模型走所有界面」：点击键盘操作 GUI、自己写代码并执行、调用 MCP 或业务 API，桌面、网页、Android、代码沙箱共用同一个模型、同一种调用方式。多数 agentic 模型只训一种界面——GUI 模型离开屏幕就失效，工具调用模型遇到没有 API 的应用就卡住。
训练侧公开的信息有三块。监督微调用了 127B token，之后训两个 RL 专家再合并成一个模型。环境来自内部 Agentic Task Factory，从文档（真实网站截图、开源软件）自动生成可验证任务，至今产出约 10000 个任务，覆盖网页应用、MCP 服务器与桌面环境，还包括同一份状态一边暴露 GUI、一边暴露 MCP 的混合环境。harness 也重写了，最大的两处改动是给 agent 一个能记住数百步的可靠记忆，以及在桌面机器本体上开一个 shell。
分数上，OSWorld 2.0 上 Holo4 27B 得 61.7%、每任务 1.22 美元，Opus 5.5 是 81.8%；35B-A3B 反而只有 30.9%、每任务 0.61 美元。AutomationBench 上 27B 得 45.4%（0.05 美元/任务），35B-A3B 得 34.5%（0.02 美元/任务）。官方没有回避这个落差，只说在参数量级低得多、成本也低得多的前提下与前沿模型竞争。三个对照演示更能说明问题：在 Godot 里做 Pac-Man，Holo4 27B 用 68 次调用、2.4M token、268 行代码完成，Qwen3.8 27B 用了 197 次调用、11.4M token、327 行；FreeCAD 建埃菲尔铁塔那组反过来了，Holo4 用 84 次调用、1.3M token，Qwen3.8 只用 60 次调用、1.0M token。
行业影响
最硬的一条不是分数，是交付方式。官方把公开基准上每一次得分背后的轨迹全部开源：数据集共 7366 条，来自 Holo4 27B 与 35B-A3B 两个规格，逐步记录了每一步的推理、动作、工具返回与截图，可以在 trajectories.hcompany.ai 回放，也能以 Apache 2.0 下载。按基准拆开是 OSWorld 1096/1102 条、OSWorld 2 各 106 条、AndroidWorld 344/347 条、AutomationBench 1600/1598 条、PinchBench 各 429 条、Agents’ Last Exam 104/105 条；凭证、内网主机与个人信息统一脱敏成 <PII removed>，涉及截图的替换为占位图。
OSWorld 类评测长期存在一个漏洞——官方自己在图注里写明「发布版本、harness、任务子集各不相同」，而外界只看到最终数字。把轨迹公开等于把分数从结论降级为可复查的原始数据，任何声称「我们这个尺寸也能打」的团队从此都要面对同一个问题：你的轨迹呢。
耐人寻味的是，同一份模型卡自己就示范了这个漏洞的幅度：正文表格处写 Holo4-27B 在 OSWorld 上得 85.2%、每任务 0.08 美元，Pareto 图注里写 OSWorld 2.0 得 61.7%、每任务 1.22 美元。同一个模型、同一个厂商、同一份卡片，跨一个大版本差 23.5 个点、单任务成本差 15 倍。这不是数据打架，是「OSWorld」这个词的指代已经分叉。
35B-A3B 低于 27B dense 这件事也该被记下来。MoE 用更大的总参数换更低的激活参数，默认预期是同等推理成本下更强，这次没有。结合官方自述的「合并两个 RL 专家」做法，一个解释方向是 MoE 规格与这套合并配方的适配还没做完。在消融未公开的当下，把它当成 MoE 在长程 agentic 任务上的一个反例，比当成噪声更有价值。
还有一个口径细节：Holo4 博文里 Opus 5.5 的 81.8% 标注为 OSWorld 2.0，Anthropic 自家页面里 81.8% 标注为 OSWorld 2.1。同一个数字挂两个版本号，两处各引各的，横向比较前需要先确认到底跑的是哪一套。
相关链接
Gemma 4 的行为测评：来源措辞压过阅读顺序，强度差五倍
事件概述
arXiv 2609.30716《Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4》于 2026 年 9 月 25 日提交，作者 Amanda Fitch，36 页，评测数据集与日志一并释出。方法是在短的单轮上下文里给 Google 预训练版 Gemma 4-e4b 两份互相冲突的文档，看它采信哪一份。
技术解析
实验设计是这篇论文最值钱的部分：13 个题目、784 次前向传播，采用完全反平衡设计。反平衡加上词汇偏置抵消，让「来源措辞」与「阅读位置」两个效应在数学上可以被分开——位置效应通常与模型对特定词表的偏好纠缠在一起，不做这层处理就分不出是谁在起作用。
结论三条。第一，来源措辞压过阅读位置：把一份文档说成官方指南或最新更新，对最终答案的影响显著大于把它排在前面还是后面。第二，位置效应确实存在，模型偏向先读到的那份，强度却至少差五倍，波动只由表层措辞决定。最后一条指向驱动因素——整体结构重复，而不是短触发短语：只有当两份竞争文档逐字使用同一套模板时，首因效应才显著增强；让两份来源的措辞产生差异，位置偏差就下降。
行业影响
对做 RAG 和检索排序的人来说，第一条把排序权重调了个方向：文档被包装成什么身份，比它在上下文里排第几更能决定模型的采信。第二条是给所有「位置偏差」类结论加了一个量程——五倍波动意味着任何单次测量的位置效应强度都不可外推，说「模型有首因偏差」而不报波动范围，等于什么都没说。
这两条合起来还有一个更实际的含义。把检索回来的多条结果统一成同一种模板句式（很多系统为了格式整洁会这么做），落在第三条结论上正好是放大位置偏差的做法。想压住它，需要的是让各来源的措辞彼此不同，不是更整齐。
需要写清楚的边界是样本量。13 个题目是很小的 n，784 次前向传播全部来自短的单轮上下文。论文的价值在设计的干净程度和可分离性，不在覆盖广度；把它的结论当成「Gemma 4 整体上如何权衡来源」，会超出它能支撑的范围。
相关链接
词表自映射：预注册、失败估计量，以及 0.201 到 0.9778 的精度下限
事件概述
arXiv 2609.31181《Where a Model Sends Its Own Repeated Token》于 2026 年 9 月 25 日提交，作者 Nicolás Vera Zúñiga，8 页 3 张表，是三篇前作的 companion；代码、逐次运行结果、预注册文档与发现台账全部公开。
技术解析
方法很简洁：把同一个 token 重复两次喂进模型，读一次前向传播里的 argmax p(· | t, t)，得到整个词表上的一个映射。映射分两半。一半是不动点（token 映射到自己），作者把它报成一个「失败的估计量」——自然距离上有 83% 是基数，靠语料操纵只能分离 3471 中的 2 bit，而精度下限是零，家族归因 0.5833。另一半是非不动点的去向，此前无人记录，唯一一篇碰到它们的论文把那些 token 记成了 0。
作者的修法是按来源 token 配对，从构造上消掉基数混淆：r 从 0.9128 掉到 -0.0932（原本的高相关全是基数假象），家族归因升到 0.8333，12 个模型对 19 个候选池，随机基线 0.1389。两个零假设被清掉：频次匹配的目标一致率 0.1429，独立边际 0.0798。家族比分词器更能预测一致性（0.2031 对 0.1205）；循环架构聚类的平衡准确率 1.0，多数类率 0.7895，剔除每个模型的主导去向之后是 0.90，作者说这个数才是他们愿意站上去的。
鲁棒性包络给得很清楚：8 bit 权重量化对映射的扰动小于训练语料去重（0.9004 对 0.6353），4 bit 直接摧毁它（0.0098；在部署粒度上是 0.1812，所以不是粗粒度造成的假象）。精度下限随模型从 0.201 变到 0.9778。
行业影响
这篇论文本体是黑盒模型识别，对行业最有用的两个数却在别处。第一个是精度下限 0.201 到 0.9778：同一个方法在不同模型上的可用精度差近五倍，任何设定统一阈值来做「这段文本是不是某模型写的」的系统，都在用一个对至少一部分模型几乎无效的量。这直接打击了模型溯源、生成内容归属一类产品的技术前提。
第二个是做事的方式。所有估计量和「杀死条件」在看到数据之前就注册好了，失败的那个估计量和存活的那个报得一样完整——失败估计量的具体数字、它为什么失败、精度下限是多少，一个不落。常见的做法是跑出显著结果就发、跑不出就换指标。配对前后 r 从 0.9128 变到 -0.0932 这一行，本身就是一次公开的自查：一个看起来漂亮的相关系数，被作者自己证明是混淆造成的。
8 bit 无损、4 bit 摧毁这个结果也值得单独记。量化到 8 bit 几乎不动映射（0.9004，甚至高于语料去重的 0.6353），说明这个映射记的是训练数据的构成而不是权重的精细数值；4 bit 掉到 0.0098 且排除了粒度假象，说明存在一条明确的、位于 4 到 8 bit 之间的破坏阈值。对靠权重量化做分发的开源生态来说，这是「分发格式会改变模型可识别性」的一条具体证据。
相关链接
小结
四条放在一起，指向的不是能力涨了多少，是分数的交付方式在分化。Anthropic 交出了分数，还交出了两条会削弱这个分数的注脚；H Company 交出了分数，还交出了每一条能复核它的轨迹；Gemma 4 那篇交出了结论，也交出了 n=13 这个让结论无法外推的边界；词表自映射那篇交出了存活的估计量，也交出了失败的那个。
判定法可以收敛成一句话：看到一个分数，先问三件事——它的口径说明写了什么，它留下了什么可复查的东西，换到别的模型或别的设置上会不会变。本期四条里，答得上来这三条的，恰恰是数字最不起眼的两篇论文；数字最惊人的那个（Terminal-Bench 4.0 的七倍跳跃），是作者自己先划了适用范围。