大模型前沿动态 · Vol.135

速度单独成档、搜索交给本地 2B、精度按循环步分配：模型能力正被拆件出售

四条动态围着同一个动作——把原本打包在模型能力里的东西拆出来单独决定：智谱灰度中的 GLM-5.3-Highspeed 实测 490 tokens/s；LightOn 的 2B 本地搜索 agent 把前沿编码 agent 的 token 砍掉 34.3%、cache-aware 成本降 40%；RAMP 在递归深度模型的前 24 个循环步用 FP8，把量化误差压到全 FP8 的五十分之一；投机解码的 draft 选层从默认规则换成矩阵熵加 CKA 的双准则。

大模型 推理加速 GLM 智谱 代码智能体 投机解码 混合精度 量化 长上下文 Agent 开源模型 推理成本 Hugging Face

速度卖到 490 tokens/s，找代码交给一个 2B 的本地模型，同一套循环权重跑 32 次时前 24 次降一档精度，投机解码用哪几层隐状态不再照抄默认规则。原本打包在「模型能力」里的四样东西，这周被拆成了四个可以单独决定的开关。

一、GLM-5.3-Highspeed：490 tokens/s，速度被单列成一个档位

事件概述：2026 年 10 月 12 日，量子位报道智谱在 Zcode 3.15.1 中灰度一款名为 GLM-5.3-Highspeed 的模型，实测输出速度达到 490 tokens/s。该名称此前已被 Pi 的模型目录收录，上下文窗口 100 万 token、最大生成上限 131,072（约 128k）、low/high/max 三档思考强度，三项配置与 GLM-5.3 普通版完全一致。截至发稿，智谱未发布官方公告，订阅用户随机获得体验资格，Lite 套餐用户可能不在灰度范围。

技术解析：三个速度数字必须分开看口径。Artificial Analysis 测得 GLM-5.3-Flash 在 Z.ai API 上的输出约 60 tokens/s，是端到端实测；上月发布的 GLM-5.3-FlashX 最高 200 tokens/s，是厂商标称峰值；本回 490 tokens/s 来自网友在客户端的实测截图。三者不可横向比较。按 490 TPS 推算，输出 1 万 token 的生成阶段约需 20 秒，长程 agent 任务里数十轮工具调用的等待被压到秒级。更值得注意的是配置对不上速度：上下文、输出长度、思考强度三档与普通版一致，意味着高速版没有改动能力配置，动的是解码与系统栈。这是从外部配置反推的推测，官方未确认。时间线上也有迹可循——今年 5 月的 GLM-5.1-highspeed 为 400 tokens/s，当时接近全球 API 速度上限；本次 490 TPS 若成立，是同一条产品线的第二次抬升。另有网友猜测该模型与 9 月上线 OpenCode 的匿名模型 Omen Alpha 有关，众说不一，无实证。

行业影响：速度成为一个可单独售卖的档位，等于承认解码吞吐已从模型能力里分离出来，变成投机解码、量化、kernel 与调度共同决定的系统指标。对用户，判断成本从「选哪个模型」变成「选哪个速度档够用」；对厂商，速度可以脱离模型代际独立迭代，不必等下一代基座。风险有两条：一是 490 TPS 出自单用户实测，规模化后能否维持未经验证；二是速度档与质量档分离后，用户缺少公开的对齐信息来判断高速版在推理类任务上是否掉队。

相关链接：量子位《智谱新模型，490 tokens/s！》（2026-10-12 10:37）

二、ColGrep-Agent-2B：2B 的本地模型把前沿编码 agent 的 token 砍掉三分之一

事件概述：LightOn 于 2026 年 10 月 12 日在 Hugging Face 博客发布 ColGrep-Agent-2B，一个 20 亿参数的开源代码搜索智能体，论文见 arXiv:2610.05099。它跑在本地，夹在 Claude Code 这类编码 agent 与代码仓库之间，接收问题、搜索仓库、跟踪引用，返回文件路径、行范围和代码本身。

技术解析：设计上做了极限收窄。harness 只暴露三个工具——colgrep（语义搜索，可带正则与路径过滤）、terminal（只读命令）、finish（以 path/to/file:START-END 提交），10 轮预算，最后一轮强制调用 finish，发布版的 system prompt、工具 schema、chat template 与训练时完全一致。检索底座是 17M 参数的多向量模型 LateOn-Code-edge，不为整个函数存一个 embedding，而是每个 token 保留一个向量，query token 与 code token 逐 token 比对；索引由 NextPlaid 存在本地并随文件变更增量更新，代码不出机器。训练分两段：以 MiniCPM5-2B 为基座，先用 Qwen3.5-27B 作教师在同一个 harness 里生成非推理轨迹做 SFT，生成时把 grep 调用替换成对应的 ColGrep 命令，从而保住那些原本会用 grep 的有用轨迹；再用 GRPO 变体做强化学习，采用 DAPO 启发的 zero-advantage filtering、去掉对冻结参考模型的 KL 惩罚、advantage 只减组内均值不除标准差。奖励是 file F1 与 line F1 的等权平均，第二个 assistant turn 之后施加 turn penalty，调用 grep 加极小惩罚，从不搜索或没提交位置也罚。

数字来自 624 次会话：13 个 2026 年新建的公开仓库（17k 到 180 万行）、52 道题、每道题在四种配置下各跑 3 次，编码 agent 是 Claude Code 运行 Sonnet 5.5。相对纯 grep，token 从 142k 降到 93k，节省 34.3% [95% CI: 28–40]；cache-aware 成本从 7.3¢ 降到 4.4¢，降 40%；轮次 5.5 降到 3.9。代价在延迟：单题时间从 13.0 秒涨到 21.6 秒。准确率 80.8% 对 grep 的 83.3%，差 2.6 个百分点，95% CI 跨 −10.9 到 +5.1，不具统计显著性，但区间宽到不能排除有意义的下降。仓库越大省得越多：5 万行以下省 19%，5 万到 15 万行省 29%，15 万到 60 万行省 40%，两个超百万行的仓库省 37–46%，13 个仓库无一例外。定位能力上，2B 模型在 SWE-bench Lite 拿到 Line F1 19.92，高于 gemma-4-31B-it 的 17.08 与 Qwen3.5-27B 的 15.71。

行业影响：这是本期最直白的一次拆件。找代码这件事从前沿模型手里拿走，交到一个 2.5GB GGUF、M3 Pro 上约 20 秒、峰值内存 3–4GB 的本地模型，不需要 Python 环境、推理服务器或 API key。省下的是钱，付出的是时间，这是一笔可以算清楚的交换：成本降 40%，延迟涨 66%。置信区间给了一个诚实的边界——不能宣称质量无损，文章自己推荐的 Balanced 模式保住 83.3% 的观测准确率、只省 21%，是更稳的落点。对有合规约束的团队，代码不离开本地机是独立于成本之外的卖点。

相关链接：LightOn《ColGrep-Agent: Cutting Frontier Coding Agents’ Tokens by a Third》（2026-10-12） · 论文 arXiv:2610.05099 · 模型权重 lightonai/colgrep-agent-2B

三、RAMP：同一个循环块跑 32 次，前 24 次降精度，误差只剩五十分之一

事件概述：arXiv:2610.13041，Ke Wan 与 Chen Chen，2026 年 10 月 9 日提交，10 月 12 日批次公布。论文针对递归深度语言模型的长上下文 prefill，提出按循环步分配精度的 RAMP。

技术解析：递归深度模型把同一个网络反复作用来精化内部表示，长上下文 prefill 里整段输入要被重复处理 T 次，代价成倍上升。论文的出发点是误差传播的方向：越早引入的量化误差，被后续循环步衰减的次数越多，对最终表示的影响越小。RAMP 据此在 Huginn-0125（默认 T=32）上把前 24 步设为 FP8 的权重加激活，后 8 步恢复 BF16，免训练，全程只有一次精度切换。

关键对照在顺序而不在预算。4K 上下文、WikiText 上，全 FP8 的 ΔNLL 是 +0.00516，RAMP 是 +0.00010，相差约 51.6 倍；隐状态相对 ℓ2 误差 8.18% 对 2.65%；Top-1 96.63% 对 98.73%。PG19 上同样成立：ΔNLL +0.00233 对 +0.00007。把高精度放到前面的 Early-BF16 用了完全相同的预算（24 步 FP8 + 8 步 BF16），ΔNLL 却是 +0.00444、隐状态 ℓ2 8.15%，几乎退回全 FP8 的水平——低精度该放前面，不是放得少就行。切换点消融也印证这条规律：32→0（全 FP8）隐状态 ℓ2 8.18%，24→8（默认）2.65%，16→16 进一步降到 1.91%。

加速幅度要按上下文分档看，论文自己给了负面结果。H100 上 128 和 256 token 时 RAMP 反而更慢，加速比 0.7988× 和 0.7738×，低精度执行的固定开销还没被摊薄；512 token 转正到 1.0638×，1024 到 1.1449×，2048 到 1.1572×，4096 到 1.1617×，对应 1103.444 ms 降到 949.847 ms，延迟降 13.9%。

行业影响：RAMP 把「量化」从一个对整模型一次性做的决定，变成沿计算轨迹逐段做的决定，方向由误差传播规律给出，而不是靠搜索。对递归深度这类用深度换推理时算力的架构，它提供了一条零训练成本的精度调度规则。收益主要落在保真度上——FP8 换来的 1.16× 并不惊人，真正的价值是在几乎不掉质量的前提下拿到这 1.16×。局限也清楚：上下文只测到 4K，模型只有 Huginn-0125，短上下文会变慢，尚未在主流 MoE 长上下文场景验证。

相关链接：arXiv:2610.13041《RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models》 · HTML 全文（含 Table 1–6）

四、Surfing the Activation Wave：draft 用哪几层隐状态，从默认规则变成可计算量

事件概述：Raghavv Goel 等五位作者的这篇论文编号为 arXiv:2610.12939，2026 年 10 月 9 日提交，10 月 12 日批次公布，已被 NeurIPS 2026 的 Axiom、GDDL、PriGM 三个 workshop 接收。

技术解析：EAGLE3 式投机解码需要从目标模型里挑出若干层的隐状态喂给 drafter，现有做法清一色是固定位置启发式，默认规则为 [2, N//2, N−3]。挑子集本质是组合问题，层数一深，穷举评估不可行。论文给出两个互补准则：信息量用矩阵熵衡量，多样性用 centered kernel alignment 量化。作者算了逐层 Shannon 熵、拼接后的聚合熵、跨深度的成对 CKA 动态，指出 decoder 表示内部存在彼此不同的几何隔间与信息隔间。据此提出基于熵与 CKA 的选层算法，偏向「信息量高且冗余低」的隐状态集合；还引入 token-entropy filtering，把低预测熵 token 对应的隐状态剔除，避免这些易预测位置污染选层统计。摘要给出的结论是：选出的集合在 EAGLE3 式投机解码中优于固定基线，包括 [2, N//2, N−3] 这条默认规则，并解释了为什么部分默认配置仍能保持竞争力。

需要标明的限定：该文在 arXiv 未提供 HTML 全文，上述内容取自摘要，具体的加速倍率与接受长度未在摘要披露，引用数字前需核对 PDF 正文表格。

行业影响：这一步把投机解码里最后一块拍脑袋的地方——用哪几层——换成了有准则的搜索，准则还是两个互相制衡的量（信息量与冗余度），而不是单一指标。它和 RAMP 属于同一类动作：在原本被统一处理的维度上做非均匀分配，一个是循环步上的精度，一个是深度方向上的层。差别在于 RAMP 有明确的早晚规律可循，这一篇给出的是可搜索的准则，计算成本换选择质量。论文自陈的另一个价值是解释性：说清默认规则为什么有时够用，比单纯刷高一个数更有长期意义。

相关链接：arXiv:2610.12939《Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding》

相关链接