装得下与拿得出正在分家：Transformer 线性叠加、句法三层落差、华为双子星做 LPM、Kimi 网页操作沉淀成 Skill

本期四条动态围着同一件事：模型内部装得下的东西，和输出端真正拿出来的东西，正在被拆成两条线来量。一篇 arXiv 论文把两条文本流的 embedding 逐元素平均后送进 Transformer，输出分布是两条流各自分布的叠加，一次前向能并行保住两串续写；另一篇论文用三层评测框架证明探针能读出的句法结构，模型在行为层面用不出来，最大落差 0.653。华为大模型双子星出来创业做「大物理模型」，赌的是离散 token 序列装不下连续演化的物理世界；Kimi 把浏览器扩展升级成侧边栏加 Skill 录制，处理的是 Agent 做过的操作怎么从单次会话里沉淀出来。

1. 两条文本流平均进 Transformer，一次前向出两串续写

事件概述

2026 年 9 月 24 日提交至 arXiv 的《Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs》（arXiv:2609.29845，Pavel Tikhonov、Anton Korznikov、Matvey Mikhalchuk 等九位作者）提出并验证了「叠加线性假设」：把两条独立文本流在同一位置上的 token embedding 逐元素平均后喂给一个标准预训练 LLM，模型给出的下一 token 分布，近似等于两条流各自分布的叠加。

技术解析

混合方式很直接，z_t = 1/2 (E(x_t) + E(y_t))。衡量叠加质量的指标是归一化近似比 ℛ_D = E[D(P_target ‖ P_mix)] / E[D(P(·|A) ‖ P(·|B))]，分母是两个无关上下文彼此的距离，ℛ_D < 1 代表混合输出离理想线性混合比离任一单流更近。在 FineWeb 上，L=32 时 Pythia-160M 的 KL 值 0.91、比值 0.35，Pythia-2.8B 是 1.86、0.42，Llama-3.1-8B 是 2.16、0.37；L=512 时 Pythia-2.8B 是 1.69、0.37。KL、JS、Wasserstein 三种距离上的比值全部小于 1。

换个更直观的量法：未做修改的预训练模型（Pythia-2.8B、Llama-3.2-3B、Qwen2.5-3B）在叠加前向里，真实下一 token 有 30% 到 40% 落在 top-10，60% 到 65% 落在 top-100。词表规模不低于 5 万，这个恢复率远高于噪声地板。论文还做了频率基线对照：只保留自然 token 频率、切断上下文联系时，跨流真实 token 进 top-10 的比例只有 2.63%，top-100 也只有 10.41%，比叠加前向低一个数量级。

叠加不是训练出来的，而是架构自带的，这是论文里最反直觉的一条。叠加保真度在初始化时最高，随预训练推进，隐状态可加性误差单调增大；逐层看呈 U 形，第 0 到 5 层线性度高，第 6 到 20 层降到 0.65 附近，最后三分之一又回到 0.95 以上。末尾这段「终端线性」让叠加信号能活着走到输出 logits。

轻量微调能把它拉回来。用冻结的预训练模型当教师、学生从同一份权重出发做自蒸馏，目标是让混合输入的输出去匹配 1/2(P_teacher(x^A) + P_teacher(x^B))，训练数据量不到原始预训练集的 0.025%。Pythia-2.8B 的平均 KL 从 1.86 降到 0.27，ℛ_KL 从 0.42 降到 0.06，真实 token 进 top-5 的比例从约 30% 升到 60% 以上。分位置看更能说明问题：Qwen2.5-3B 上可预测位置的中位排名几乎不动（6 变 8），内容词位置的中位排名从 284 降到 55，top-1 一致率从 4.2% 升到 22.8%。恢复的不是高频可预测 token，是实打实的语义内容。

要把叠加态拆开用，还得再走一步。论文提出 Joint Contrastive 引导解码，用一个小模型给每条流打分：ℓ̃(A) = ℓ_large(z) + α·ℓ_small(A) − β·ℓ_small(B)，α、β 与主干一起训练。叠加前向的 LAMBADA 准确率从预训练基线的 0.065–0.182 抬到 0.110–0.430，Llama-3.2-3B 配 Llama-3.2-1B 拿到 0.430，Qwen2.5-3B 配 Qwen2.5-0.5B 拿到 0.345，流间 Jaccard 重叠从 0.094–0.126 降到 0.061–0.080。

没走完的那一段论文也写清楚了。logits 近似平均等价于概率的几何平均，P′ ∝ sqrt(P_A·P_B)：一条流里概率很高、另一条流里概率很低的 token 会被几何平均重罚，标准解码下很难让两条流一起拿到 rank 1，即便微调后两条流的真实 token 都稳定进 top-5。Llama-3.2-3B 的 0.430 仍低于小模型单流基线的 0.540。自蒸馏的代价摆在同一批表里：Pythia-2.8B 单流 LAMBADA 准确率从 0.544 掉到 0.357，Qwen2.5-3B 从 0.602 掉到 0.460，纯自蒸馏模型在 FineWeb 上的困惑度从 12.44 涨到 65.52。吞吐方面，Separate 模式与 batch=2 的大模型差距在 3% 以内，相对串行解码约 2 倍；引导模式要额外跑小模型，Llama-3B + 1B 从 81.5 tok/s 降到 52.4 tok/s，串行基线是 41.3 tok/s。

行业影响

这条线走得通的话，推理侧的计价单位会从「每个请求多少 token」变成「每次前向产出几路」。今天 batch 并行的做法是把多个请求塞进一次前向，前提是它们互不干扰；叠加给出的是另一种排布：单次前向承载的语义路数可以超过 1，显存和算力基本不变。对投机解码、多路采样投票、自博弈采样这些本来就跑多条候选的场景，这是直接的边际成本改善。

更该被记住的是「架构自带、训练反而削弱」这句。它把线性从训练产物重新归类为归纳偏置，也就意味着预训练目标里没有一项在奖励这个性质，谁想要就得自己补。论文的补法是 0.025% 数据的自蒸馏，代价是单流质量掉一大截 —— 叠加能力和单流流畅度在当前训练范式下是竞争关系，不是顺带获得的赠品。

把它当工程方案看还太早。几何平均障碍没有被解决，引导解码只在 3B 量级、L 不超过 512 的短上下文、单语文本上验证过，多模态输入完全没有探索。它的价值在于给出一把新尺子：一个前向通道里能装几路互不干扰的语义，现在有了可测量的定义。

相关链接

• 论文摘要页：https://arxiv.org/abs/2609.29845
• 论文全文（HTML）：https://arxiv.org/html/2609.29845v1

2. 编码了但没用出来：句法能力的三层落差

事件概述

同日提交至 arXiv 的《Encoded but Not Decoded: Layer-Localized Evidence for a Three-Level Gap in LLM Syntax》（arXiv:2609.29848，Zhenyan Lu、He Wang、Xiaohui Huang，已被 AACL-IJCNLP 2026 接收）给出三层评测框架：行为层部署、LM head 读出、探针可恢复性，在同一批题目、同一个二选一判断上分别测量。在英、中、德三语的依存控制基准上，七个模型一致呈现出「探针可恢复性 ≥ LM head 读出 ≥ 行为层部署」。

技术解析

三层框架的意义在于把「模型不会做某道题」拆成两种失败：压根没编码相关结构，或者编码了、输出时没用上。只用行为评测分不开这两种情况。

一致性的强度值得注意：论文提到的 14 个（模型 × 任务）组合里，可恢复性盈余没有一次为负。落差最大的一处是 Qwen3-0.6B Instruct 在问答任务上的 0.653；这个落差在 Qwen3-14B Instruct 上依然存在，没被规模抹平。落差集中的位置是主语控制结构，恰恰是「就近名词」启发式会给出错误答案的地方 —— 模型在输出层偏好了一条表面捷径，内部其实带着能给出正确答案的信息。

论文逐条排除了四种替代解释：选项位置偏差、后层擦除、输出格式假象、探针训练方差。激活打补丁的实验把落差定位到了具体层：指令微调之后，LM head 解码出的层位比探针解码出的层位大约晚十层。

指令微调的影响方向也反直觉：按百分比算，它损害部署层的程度大于损害编码层。

行业影响

对评测方法论的分量最重。行为评测低估模型编码了什么，探针单独用又高估模型部署了什么 —— 两句话合起来，等于给近几年大量「模型具不具备某种语言能力」的争论划了个方法上的界：单看行为分数说模型不会，单看探针说模型会，两边量的是不同层。

对模型发布流程的影响更实际。指令微调让部署层掉得比编码层多，意味着对齐阶段的收益分布不均匀：一部分行为改善，代价是某些已编码能力被压在输出层之下。一家厂商只报对齐前后的行为分数，这部分代价是隐形的。把 LM head 读出和探针恢复率也纳入常规评测，才有机会看见它。

层位定位的结果给了干预抓手。既然 LM head 解码层比探针解码层晚大约十层，「编码了却用不出来」就不是全模型范围的退化，而是一段特定深度上的路由问题。这给后续定向干预留了一个比「再训一遍」精确得多的目标。

相关链接

• 论文摘要页：https://arxiv.org/abs/2609.29848
• 论文全文（HTML）：https://arxiv.org/html/2609.29848v1

3. 华为大模型双子星创业做 LPM：赌物理世界有自己的 Scaling Law

事件概述

2026 年 9 月 25 日，量子位报道 Physical AI 创业公司息壤开物完成数亿元种子轮及天使轮融资，敦鸿资产领投，华控基金、三花控股、银杏谷资本等跟投，估值 5 亿美元。创始团队来自华为大模型体系：CEO 李寅是前华为云大模型 CTO、盘古大模型 0 到 1 阶段核心成员；联合创始人兼首席科学家张含望是前华为多模态首席科学家、南洋理工大学教授。

技术解析

息壤要做的是 LPM（Large Physics Model，大物理模型），立论从 LLM 的边界出发：LLM 学的是已经被人类抽象成语言、代码和公式的知识，物理世界没有一套现成的、被整理好的抽象表征，模型只能从像素、声音、位置和受力变化里自己找。团队在产业落地中看到的 VLA 路线局限是直接动因 —— 视觉语言动作模型已证明能把视觉和语言映射成机器人动作，落到部署上仍要为特定本体、场景和任务重新采集数据、重新增训。

架构上，LPM 以 Unified AR Transformer 为骨干，负责把复杂过程拆成连续的条件预测；Diffusion 作为可选模块，只在需要把未来状态渲染成连续视频时接入。选自回归路线的依据是马尔可夫框架与贝尔曼递归：若当前状态已包含决策所需的充分信息，历史可以压缩进当下，长期任务的价值可拆成即时收益加下一状态的未来价值，模型不必逐帧保存过去，也不必一次穷举未来。这条推理针对的是长程决策的组合爆炸 —— 每步 b 种选择、连续 H 步，路径数增长到 b 的 H 次方。

支撑这套骨干的是六块底座：统一 Token（把视觉、动作、触觉、力觉等异构信息转成共同表征）、统一架构、强化学习算法、数据体系、评测体系、工程基础设施。产品分 L0 通用物理基础模型、L1 领域模型、L2 具体应用三层。

公开的进展只有榜单成绩和趋势描述：息壤的模型 RiXin 在 World Arena 2.0 Track 1 上，Trajectory Accuracy 单项排名第一，Physical Adherence 单项第二；团队称随数据与训练规模扩大，性能已出现初步提升趋势。首个训练成果 XIRRA v0.1 计划于今年晚些时候发布。

行业影响

这笔融资的信号在于时机：模型尚未完成预训练，资本已经按 5 亿美元估值下注一个非共识答案。支撑这个判断的不是当前成绩，而是团队构成 —— 李寅这边是基模训练与产业交付的双份履历，公开信息提到她曾带 400 人团队、依托百万小时视频数据集、在万卡集群上用两个月训出一个 8B 视频大模型，并交付过 30 个行业的 200 多家客户；张含望那边是因果机器学习与泛化方向的积累，论文 228 篇、被引超 4.2 万、H-index 81。物理世界里的相关性与因果性混淆，正是他长期处理的问题：物体在视频里移动，既来自动作，也来自重力、碰撞或外部干扰。

对具身智能行业，LPM 路线把分歧摆到了明面上。一条路是继续在 VLA 上做工程优化，接受每个新本体、新场景都要重新适配的成本；另一条路是先花大钱预训练一个跨本体的物理底座，指望后面靠微调覆盖。前者的成本线性叠加，后者一次性投入但押注在 Scaling Law 上。息壤选了后者，World Arena 2.0 的两个单项名次只是这条路上最早一个可引用数字。

评判标准要提前说清。Trajectory Accuracy 与 Physical Adherence 考察的是轨迹预测准确性和生成状态是否符合基本物理规律，与 LPM 的目标直接相关，但榜单名次不等于真机任务成功率。真正能验证这条路的，是 XIRRA v0.1 出来之后，同一个模型进入陌生本体和陌生场景时能不能少采数据、少做增训。这个数字出来之前，「物理世界存不存在 Scaling Law」仍是一个待验证的假设。

相关链接

• 量子位报道：https://www.qbitai.com/2026/09/497070.html

4. Kimi 浏览器扩展：把做过的网页操作存成 Skill

事件概述

2026 年 9 月 25 日，量子位报道 Kimi 将四个月前发布的 Kimi WebBridge 升级为 Kimi 浏览器扩展，新增两处能力：浏览器侧边栏内直接对话并操作当前网页，在网页上的操作过程可录制为 Skill 供后续复用。原先由本地 Agent 调用扩展的方式继续保留。

技术解析

WebBridge 的定位是「让 Agent 用上你的浏览器」：一头接本地 Agent，一头连 Chrome 或 Edge 扩展，Agent 发指令，扩展在用户真实浏览器里跳转页面、读内容、点按钮，再把结果送回去。升级版把入口从「被本地 Agent 调用」扩到了「用户在侧边栏直接发起」，并补上了流程沉淀这一环。

Skill 录制解决的是 WebBridge 时代最费工夫的那部分。过去每次让 Agent 操作浏览器，都要迭代调教一轮才能高效完成任务；现在用户在网页上做过的一套动作可以存成 Skill —— 每天打开同一个网站、查当天新闻、导出数据就是典型场景 —— 下次直接调用。一次跑得顺的会话也能整体存成 Skill。官方给出的边界是：网页改版、页面动态加载仍会让操作中途卡住，复杂页面失败时建议先截图确认页面状态再调整指令。

把它和前后脚发布的 Kimi Code Desktop 放在一起看，分工是清楚的：桌面端给 Agent 项目文件、终端和改动记录，改完网页用会话里的内置浏览器立刻看效果，用户可以直接点选页面元素、附截图和评论打回重做；扩展负责进入用户日常使用的网站。一个覆盖项目内部，一个覆盖用户外部应用。

行业影响

这轮升级的分水岭是「看网页」到「用网页」，再到「把用网页的过程存下来」。前一代 AI 插件解决的是在任意网页边上提问、写邮件、筛视频、译外语；Manus 的 Browser Operator 和 Kimi WebBridge 解决的是经授权操作真实浏览器；Kimi 这次加的是复用层 —— 把一次性的调教成本变成可反复调用的资产。

对 Agent 产品来说，这个方向比再堆一个能力更接近护城河。网页操作 Agent 的失败率很大一部分来自页面结构不确定，靠每次会话现场推理去补，成本重复发生在每个用户身上。把跑通过的流程固化成 Skill，等于把这部分成本从每次推理摊到一次录制。沉淀下来的 Skill 集合，是用户换产品时要重新积累的东西。

风险同样明确。Skill 的稳定性绑在具体页面的 DOM 上，网页改版就失效，官方也承认了这一点。Skill 录制真正成立的场景是高频、结构稳定的重复工作，不是长尾的一次性任务。谁能把失效检测和自动修复做进去，谁才能把这条路线走完。

相关链接

• 量子位报道：https://www.qbitai.com/2026/09/497075.html