不碰模型权重的四场仗：PCIe 卡推理吞吐 6.87 倍、VLM 投机解码、KV 缓存风险契约与 3D 生成的 Agent-Ready

本期四条动态没有一条动过模型权重。一家算力运营商用软件栈把八张 PCIe 卡的推理输入吞吐抬到原来的 6.87 倍，Liquid AI 给 30 亿参数的视觉语言模型挂上一个 2.8 亿参数的草稿模型换解码提速，一篇 arXiv 论文把 KV 缓存压缩的验收口径从平均质量改成可签约的风险上界，影眸 Hyper3D 则把 3D 生成的交付物从一份资产换成一条 Agent 能接着往下走的链路。模型之外的地方正在接走边际收益。

1. 是石科技 Meta-Infer：不换卡，把推理吞吐做到 6.87 倍

事件概述

2026 年 9 月 24 日，量子位报道了独立第三方算力运营商是石科技（METASTONE）自研的 Meta-Infer 高效推理引擎。这套引擎面向不在主流开源框架官方验证矩阵内的长尾硬件，全程不改动模型权重与结构，也不改变业务任务语义。在 DeepSeek-V4.1-Flash 上，八张 PCIe-Only 显卡的输入吞吐从社区 Day0 基线的 1932 tok/s 提升到 13274 tok/s，整体 6.87 倍，并支持 1M 超长上下文。

技术解析

Meta-Infer 的优化分两个阶段，沉淀为四项能力：内核补齐、算子优化与通信重构、并行与容量调优、缓存复用。

第一阶段叫算模协同，解决的是「高性能路径存在但没被触发」。不在官方验证清单上的硬件不会被框架报错，只会静默绕开加速路径，降级到通用实现。补齐的手段包括对齐硬件与框架之间的元数据定义、修正页尺寸配置、替换不适配的老旧计算内核、扩大通信快路径的生效阈值。DeepSeek-V4.1-Flash 在这一阶段补齐 sparse-MLA Prefill 快路径、换掉 FP8 稠密 GEMM 慢内核、扩大 PCIe-IPC 通信快路径覆盖范围，吞吐从 1932 tok/s 到 5850 tok/s。同样的处理在 DeepSeek-V4-Flash、GLM5.3 上拿到 20% 到 33% 的增益。

第二阶段是通算重构。PCIe 架构的卡间带宽远低于 NVLink，套用面向高速互联硬件的默认策略会让 GPU 大量时间空等通信。引擎对注意力、投影等算子做融合，把计算任务与集合通信做时间重叠，把统计类计算塞进通信间隙，改写集合通信逻辑适配 PCIe 带宽特性；并行策略不再全局固化，Prefill 与 Decode 分别配置张量并行和上下文并行；显存静态占比与 KV 缓存容量按硬件特性动态调整。这套下来，DeepSeek-V4.1-Flash 从 5850 tok/s 到 13274 tok/s。GLM5.3 从 3236.78 tok/s 到 6222.72 tok/s，P95 首 Token 时延从 141.6 秒压到 46.6 秒，上下文上限从 27 万 token 拓到 105 万。

放到顶级硬件的同一把标尺上：相同并发点配对比较，B300 对这台八卡整机的输入吞吐优势在 DeepSeek-V4-Flash 上是 4.9 到 5.6 倍，GLM5.3 上是 3.5 到 4.7 倍。视频生成场景差距更小，统一整机口径下文生视频约 67%、参考图生视频约 58%；按 Ours Cache + LoRA 方案折算，约 1.5 台 6000D 对应 1 台 B300 的文生视频吞吐。国产 GPU 上同一套方法论也成立，仅把 Shared Expert 与 Routed Expert 改为并行提交，就在 35 组配对测试中带来 11.26% 的吞吐提升。

行业影响

这篇的分量不在倍数，在于它把「能跑起来」和「能规模化对外服务」之间的落差量化了。开源社区对长尾硬件的投入通常到权重下载完成、服务成功拉起为止，剩下的性能亏空没人计价。Meta-Infer 证明这部分亏空有相当比例是元数据不匹配、页尺寸错配、通信参数照抄这类纯适配问题，补起来的成本远低于换卡。

对推理成本结构的影响是直接的：如果一台八卡 PCIe 整机在部分业务指标上能顶到 B300 的六成，而采购成本和供给约束远好于后者，推理集群的选型逻辑就要从「买到什么卡」改写成「软件栈能把这张卡榨到多少」。做全栈优化的一方也就从硬件厂商的附属环节，变成独立计价的角色。

读这组数字要留意口径。报告里的倍数全部是输入吞吐，B300 侧按 SGLang cookbook 推荐参数配置，两边的最优档未必对齐；视频生成部分也写明是「不明显损失画质」而非无损。把它当作「软件栈的可释放空间有多大」的上界证据，比当作确定的替代关系更稳妥。

相关链接

• 量子位报道：https://www.qbitai.com/2026/09/496925.html

2. Liquid AI 给视觉语言模型装上草稿模型，解码提速最高 3.13 倍

事件概述

2026 年 9 月 24 日，Liquid AI 在 Hugging Face 发布 LFM2.5-VL-3B-DSpark —— 为 30 亿参数视觉语言模型 LFM2.5-VL-3B 配的 DSpark 投机解码草稿模型，实验性质，Safetensors 与 GGUF 两种格式同步上线，llama.cpp、MLX-VLM、SGLang 三个推理栈首日可用。

技术解析

草稿模型沿用文本版 DSpark 的结构：在固定的一组抽样层上截取目标模型的隐状态，以此为条件一次性起草 k 个候选 token。图像 patch 与文本 token 在进入这些层之前就被投影到同一表示空间，草稿模型处理的是同维度隐状态向量，推理算法与文本模型完全一致。结构经 3、4、5 层消融后定为 4 层纯注意力草稿模型，块大小 9，最终混合数据训练 10 个 epoch，参数量约 280M，给 3B 目标模型增加 8.9% 的参数。

加速数字分端侧与 GPU 两档，块大小均为 8，评测覆盖通用 VQA、文本 VQA、图像描述、图表 VQA、复杂推理、多轮对话六类任务，沿用 MMSpec 基准。M5 Max 上用 MLX 跑，解码提速按任务 2.30 到 3.13 倍，端到端延迟改善 1.56 到 2.62 倍；M3 Ultra 上用 llama.cpp，解码 1.57 到 2.14 倍，端到端 1.30 到 1.77 倍；H100 上解码最高 2.66 倍，端到端 1.64 到 2.27 倍。投机解码是精确的，目标模型逐个校验候选 token，贪心输出与单独跑目标模型一致。

Liquid AI 自己写了一段限制，这段比加速数字更值得读。投机解码只加速 decode，不加速视觉编码和 prefill。VLM 的 prefill 要先过视觉编码器，再由语言主干处理数百个视觉 token，端侧设备的算力远低于数据中心 GPU，prefill 在端到端延迟里占比更高，即使 decode 拿到大倍数，端到端收益也被没被加速的部分封住 —— 这是阿姆达尔定律的直接后果。

行业影响

端到端 1.30 到 2.62 倍这个区间，就是端侧 VLM 优化的现状快照：解码阶段的提速已经做到 3 倍量级，落到用户能感知的延迟上只剩一半。谁想把这条曲线继续往上推，就得去动视觉编码器和 prefill，投机解码这条路的剩余空间不多了。

对端侧部署的意义更实际。280M 参数、8.9% 的显存增量换 2 到 3 倍解码速度，且输出严格等价，这笔账在内存紧张的设备上算得过来。三个推理栈首日支持也说明投机解码正从研究技巧变成部署默认值 —— 厂商发布模型时同步给草稿模型，正在成为新的发布件清单。

相关链接

• Liquid AI 博客：https://huggingface.co/blog/LiquidAI/lfm2-5-vl-dspark
• 草稿模型权重：https://huggingface.co/LiquidAI/LFM2.5-VL-3B-DSpark

3. KV 缓存压缩的验收口径：从平均质量换成风险上界

事件概述

2026 年 9 月 23 日提交至 arXiv 的《Risk-Controlled KV-Cache Eviction: From Memory Budgets to Risk Targets》（arXiv:2609.27981，Beomgu Kang、SoJin Yun、Hojoon Kim、Hyunseok Seo，14 页）提出把 KV 缓存逐出重新表述为一个部署风险控制问题。论文给出一种与压缩器无关的事后认证流程，用校准数据从候选保留策略中挑出满足可靠性契约的那个，并在没有策略通过认证时回退到完整 KV。

技术解析

现有 KV 缓存逐出方法基本都用「平均质量—显存」权衡来评价，论文指出的要害是：平均值上的小损失会盖住那些效用实际严重下降的请求。它给「实质性退化」下的定义是可部署方指定的容差 —— 逐出导致某个请求的任务效用相对同请求完整 KV 推理下降超过这个容差，就算一次退化事件；部署风险则是这类事件在请求总体中的频率。给定一份写明目标风险水平和置信度要求的可靠性契约，认证流程从校准数据中选保留策略，并带有限样本保证。

实测结果里最有意思的是同一份契约在不同基准上给出的结论差异极大。在 Llama 上，这份契约在 LongBench 上认证了 SnapKV 的 75% 保留率，但在 RULER-32K 上没有任何被测压缩策略通过认证，直接触发完整 KV 回退。同一模型、同一可靠性要求，换一个任务分布就从「可以砍掉四分之一缓存」变成「一刀都不能砍」。

论文还给出经验阈值法的失效证据：经验退化率低于 5% 目标的策略，仍可能通不过有限样本认证；在 Llama 的 LongBench 上，经验阈值法选出的未认证策略，在固定预算类方法上比认证结果少保留 5 到 10 个百分点的缓存。少保留的这部分，正是有限样本保证要求付的保险费。

行业影响

长上下文推理的显存成本一直是定价的核心变量，而压缩率这个自变量一直由工程方按经验拍板。这篇把拍板权交给了可签约的数字 —— 部署方先声明能容忍多少比例的请求严重退化、要多高的置信度，再反推能保留多少缓存。显存从一个技术参数变成一个合同参数。

对评测方法也是一次提醒。RULER-32K 上全策略不通过认证这个结果说明，当前的 KV 压缩方法在长程检索类任务上还做不到无损可控；只报 LongBench 平均分的方法，会把这块风险藏起来。做长上下文服务的团队在引入压缩前，值得按自己线上的真实任务分布跑一遍认证，而不是照搬论文里的保留率。

相关链接

• 论文摘要页：https://arxiv.org/abs/2609.27981

4. 3D 生成换买家：从 Production-Ready 到 Agent-Ready

事件概述

GPT-6 Astra 用代码加基础几何体直接搓出 3D 场景、甚至从零做出一款 3D 游戏，在社交平台上刷屏之后，专业 3D 生成模型的位置成了一个新问题。量子位 9 月 23 日的报道给出了影眸 Hyper3D 的答案：该公司上线 Agentic Mode，把 3D 生成的竞争标准从 Production-Ready 推进到 Agent-Ready，并已开放面向 AI Agent 的 MCP 接口。

技术解析

Agentic Mode 的改动集中在输入理解与生成后的可延续性两端。输入侧，系统不再要求用户预先整理好一组主体一致、角度互补、背景干净的标准参考图，而是自己沿物体边缘识别轮廓、判断各图的拍摄角度、区分真实结构与光影、寻找机身与局部零件的边界，单张图看不清的信息从其他参考图补全，并按需要增强输入素材。报道中的实测把五张信息不齐的产品图（正面照、背面照、局部特写、杂乱桌面照、文字规格卡）一次性丢进去，系统自动完成主体与背景分离并拼合出完整模型，桌面照里的电脑、杯子、书没有进入模型；换成含平立剖面图和尺寸标注的住宅建筑图纸，系统也能分清平面图管房间布局、立面图管门窗屋顶、尺寸标注约束比例。

生成侧，输出的 Low-poly N-GONS 模型继续支持自然语言驱动的参数化调整、动画预设调用与材质增强。报道实测里，用「抬高网罩」这样的自然语言指令修改后，只有网罩被抬高，底座尺寸和五片扇叶保持不变；要求把五片奶油色扇叶改成半透明琥珀色，着色范围准确落在扇叶上，旋钮与整机配色未受影响。厨房场景支持圈选局部区域单独替换材质，机械手这类含可动部件的模型提供可直接调用的动作预设。

配合此前开放的 MCP 接口，外部 Agent 可以在支持 MCP 的客户端里描述需求、调用 Hyper3D Rodin 完成生成、查询进度并取回结果。报道称已有创作者使用「GPT-6 + Hyper3D MCP」的组合做 3D 内容创作。

行业影响

分工被这次刷屏重新划了一遍。GPT-6 Astra 擅长理解目标、拆解任务，用代码和基础几何体处理机械结构、工业零件这类结构明确的模型；人体、动物、复杂道具这种曲面丰富、细节密集的对象，仍然需要专业 3D 生成模型提供完整的几何、网格与材质。通用模型负责想清楚怎么做，专业模型负责把复杂模型做好。

真正的变量是买家换了。3D 工具过去服务人类创作者，评价标准围绕资产能否进入生产管线；当 Agent 开始接管创作任务，多出的一层要求是这套能力得能被 Agent 读懂和调用 —— 面对不同输入自己判断建模路径，资产生成后还能继续编辑、拆分、加工。3D 生成从等待人操作的单点工具，变成 Agent 工作流里的一个可调用节点。

这个转变对 3D 生成厂商的门槛要求变了：单次生成质量仍是入场券，接口设计、参数化的颗粒度、生成物的可再加工性成了新的区分项。把建模流程接进更长的任务链 —— 从产品设计图生成模型，再继续做材质、拆部件、交付游戏引擎 —— 是这条路上更难也更有价值的部分。

相关链接

• 量子位报道：https://www.qbitai.com/2026/09/496170.html