大模型前沿动态 · Vol.138

KV 缓存被当成参数训练到 32 倍压缩、上下文增益写进 FFN、797G 的 n-gram 计数表留在主机内存、三种能力共用一个端点：信息和能力正在换存放介质

四条动态都在回答「这份东西存在什么介质里」。Latent Compaction 把压缩后的 KV 缓存当参数用测试时训练优化，RULER 32 倍压缩下 96.7% 对 KVZip+ 的 40.0%；Cortex 生成前瞻性查询，把上下文增益蒸馏进 FFN 的低秩或结构化更新，14B 上 50 次顺序事实编辑后 CR 88.9%、RR 99.8%；COUNT 把 Dolma 3 上 1-6 阶 n-gram 计数表放在主机内存，不新增参数即让 1B 模型等效多花 57% 算力，推理时换域表免训练适配；IBM Granite Switch 4.1 用 aLoRA 让决策、安全判定与 ASR 共用基座 KV 缓存，显存与单个基座持平。

大模型 KV缓存 长上下文 上下文压缩 记忆固化 模型编辑 参数化记忆 n-gram 主机内存 领域适配 IBM Granite 决策模型 LoRA 推理优化 Qwen

一份上下文、一份语料统计、一项专业能力，今天都有了新的存放位置：KV 缓存可以被当成参数训练到 32 倍压缩，上下文的增益能被写进 FFN，n-gram 计数表待在主机内存里随时换掉，IBM 把三种能力塞进一个端点共用同一份缓存。

一、Latent Compaction：把 KV 缓存当成一份可训练的参数

事件概述

10 月 14 日提交、收录进 cs.CL 10 月 15 日批次的 arXiv 论文《Latent Compaction with Test-Time Training》来自清华 THUNLP（Yingfa Chen、Xingyu Shen、Chaojun Xiao、Xu Han）。它处理长上下文的老问题：文档越长，KV 缓存越大，显存和注意力开销跟着涨。过去的做法是从已有缓存里挑一部分留下，这篇的做法是把压缩后的缓存本身当作一份参数，用测试时训练去优化它，模型权重全程冻结。代码已在 GitHub 开源。

技术解析

紧凑缓存被拆成三类条目，各按一种标准从原始 KV 对里选：Preserver 按 KVZip+ 的重建重要性排序，占预算四分之三；Anchor 按教师注意力高分选取，占剩余预算的 25%；Diversifier 用 farthest-first traversal 在 key 空间里挑距离已选点最远的 key，覆盖被前两类漏掉的角落。每个 slot 还带一个初始为 0 的标量注意力偏置，用来补偿压缩丢掉的注意力质量。

训练分两段。Stage 1 逐层把压缩缓存的注意力输出和 log-normalizer 拟合到完整缓存，Preserver 的 K/V 在这一段冻结；Stage 2 解冻全部条目，用端到端蒸馏对齐完整缓存模型的概率，目标是教师 top-20 加一个 tail 桶，再叠一项 LM loss。监督来自 480 条通用 prompt，每条贪婪生成最多 24 个 token，全程看不到下游问题。

RULER 上 32 倍压缩拿到 96.7%，KVZip+ 是 40.0%。Phonebook Lookup 在 16 倍压缩下的消融更能看出各部件的分量：默认配置 4K/8K/16K 为 87.75 / 83.75 / 70.50，把 Diversifier 换成随机文档 KV 掉到 20.50，换成高斯随机向量掉到 19.75，去掉 Stage 1 只剩 13.92，去掉 log Z 的 MSE 项剩 36.50。LongBench 上 16 倍与 32 倍压缩对三个 Qwen3 规模都优于 KVZip+，4 倍时两者接近。跨族迁移在 MiniCPM5-1B 与 MiniCPM5-2B 上同样成立。

需要看清的是论文自己划的边界：这些数字是逻辑 KV 对预算下的结果，不是实测显存节省或推理加速；每文档拟合仍要 Stage 1 与 Stage 2 各 1000 步更新，代价靠跨问题复用来摊销。准备成本翻倍收益极小——Stage 1 从 1000 步加到 2000 步，准确率只从 61.00% 走到 61.25%。

行业影响

这条路线把「缓存」和「参数」的界线抹掉了一半。缓存一向被视为推理时的临时副产品，只能删、不能改；这里它被当成一份可以求梯度的对象，允许为单篇文档专门优化。收益落在重读场景：同一份文档问很多次时，拟合成本被摊薄。代价落在一次性问答上，那笔拟合账算不过来。对长文档检索、法律与金融的批量问答，这是把压缩从启发式筛选推向优化问题的信号；对短平快的单轮对话，暂时没有位置。

相关链接

二、Cortex：上下文撤走之后，增益留进 FFN

事件概述

同日提交的《Cortex: Consolidating Context into Parametric Memory》给出另一条存放路径。上下文能提升表现，上下文一撤，提升也跟着走。作者把这件事形式化为 Memory Consolidation，要求做到两件事：把上下文带来的增益内化，把与目标无关的原始能力保住。

技术解析

测试床覆盖五个任务族：agent 经验固化、新 API 学习、人格引导、知识抑制、事实编辑，分别对应程序性、行为性与陈述性记忆，支持单条、批量、顺序三种更新方式。指标是 Consolidation Rate（CR，撤销上下文后还能拿回多少增益）与 Retention Rate（RR，非目标能力保住多少）。

Cortex 围绕三个问题展开。学什么：生成前瞻性查询去预判上下文会在哪里派上用场，用上下文条件下的输出当学习目标，不碰评测数据。写在哪：只动 FFN，两个变体分别是 Synaptic（对 gate/up/down 投影加低秩更新）与 Structural（加一条可训练的 gate-up-down 分支，原权重块冻住）；MoE 用共享扩展，每个 token 都经过同一份新增参数，router 保持冻结。怎么学：上下文条件下的教师监督一个无上下文的学生，目标是输出分布 KL 加隐状态 MSE；顺序更新时冻结更新前的模型，只训新增参数，靠查询重放用旧检查点重新生成目标，不保存历史上下文。

骨干横跨 Qwen2.5-14B-Instruct、Qwen3-4B-Instruct、Qwen3-4B-Thinking、Gemma3-12B-it、GPT-OSS-20B、GPT-OSS-120B。14B 上做 50 次顺序事实编辑后，Cortex-Structural 拿到 CR 88.9%、RR 99.8%，比 AlphaEdit 分别高 66.2 和 3.8 个百分点。人格引导上两个变体在 Gemma3 与 Qwen2.5 上拿回约 95–100% 的上下文增益，流畅度口径的 RR 维持在 99–100%。批量编辑在三个 Qwen 骨干上落在 80–91% 的 CR。15 个评估面板里，每个都有至少一个 Cortex 变体处在 CR–RR 帕累托前沿。消融给出的方向很清楚：只改 FFN 比连注意力一起改的 CR、RR 都更好；结构化扩展即使不做重放也能减轻遗忘；MoE 的共享扩展优于独立扩展；隐状态对齐抬高 RR，代价是 CR 小幅回落。

行业影响

「上下文进参数」过去散落在模型编辑、技能学习、行为引导三个互不搭话的社区里，各用各的评测。Cortex 用一对 CR/RR 指标把它们拉到同一张权衡图上，这件事的价值超过方法本身。对企业侧的含义是具体的：把文档、API 规范、风格要求从每次请求的 prompt 里搬进权重，等于把一笔按 token 计价的重复开销换成一次性的合并成本。RR 99.8% 说明这笔替换不必以牺牲通用能力为代价，顺序 50 次编辑后仍然成立——这是此前模型编辑方法最容易崩的地方。

相关链接

三、The COUNT：把 797G 的语料统计留在主机内存

事件概述

《The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation》由 Ian Magnusson、Noah A. Smith、Pang Wei Koh 提交，10 月 14 日。它问的是：给语言模型扩容，除参数与算力之外还有没有第三个维度可以单独放大。

技术解析

COUNT 在 Dolma 3 全量语料上统计 1 到 6 阶 n-gram，用 stupid backoff 打分，建成一张只读计数表放在主机内存。旗舰通用表存了每个出现不少于 265 次的 history 的 top-32 后续 token，占 797.487 GB；小一档的表是 17.114 GB。查表时取当前前缀在各阶上的最长已存后缀，实际用分数最高的 8 个候选，用模型自己的 unembedding 矩阵行按分数加权求和，得到 f_t = (1/J) Σ_j Σ_k S(w_k|h_{t,j}) B[w_k]，再与 token 嵌入相加。整套动作不新增任何可学习参数。

在固定算力预算下，1B 模型加上 COUNT 的验证损失，相当于一个多花 57% 算力训练出来的标准 Transformer。完整的区间是：语言建模损失上标准 Transformer 需要多 46–89% 算力才能追平，下游任务损失上是 6–56%。显存受限的对比更直接——把 GPU 让给骨干参数，比把显存分给可学习 n-gram 嵌入更划算，后者要与骨干抢显存，而 COUNT 的表在主机上。吞吐代价不大：训练保留 93.1–97.8%，prefill 95.5–95.8%，自回归解码 95.9–96.7%。对照的 learned n-gram 基线若做全表优化器更新，190M 配置下只有标准 Transformer 训练吞吐的 4.4%。

真正特别的是换表。Math、Biomedical、Law 三张域表分别 83.398 GB、81.723 GB、80.151 GB，推理时按 S_λ = (1-λ)S_general + λS_domain 插值进去，不训练任何参数。λ=0.25 是让三个域 loss 全部下降的点。表还能在推理时缩小一个数量级以上，从 797 GB 降到 68 GB 或 17 GB，仍优于标准 Transformer。

行业影响

n-gram 模型是神经语言建模之前的主流，COUNT 不是复古，而是把它放在了一个新位置上：不参与梯度，不与骨干争显存，只在主机内存里当一张可替换的查表。这让「领域适配」这个词的含义变了——适配不再等于改权重，而是换一张表。对没法承担微调算力、又握有海量自有语料的机构，这条路的门槛低得多。它重新确认了存算分离在模型扩容上的位置：算力与显存继续紧，主机内存这条被忽略的通道还有空间。代价也摆在那：797 GB 的表不是谁都能放，缩表虽然可行，收益也随之回落。

相关链接

四、Granite Switch 4.1：三种能力共用一个端点、一份缓存

事件概述

IBM 于 10 月 15 日在 Hugging Face 发布 Granite Switch 4.1，8B 与 30B 两个规格。它把三样东西合成一个模型：通用决策用的 Decision aLoRA、安全决策用的 Guardian aLoRA、以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。

技术解析

关键在 aLoRA（Activated LoRA）。多个 adapter 挂在同一份基座权重上，基座生成出来的 KV 缓存可以被后续任何 adapter 的决策请求直接复用，同一份缓存不必因切换任务而重算。合成后的模型占用的显存与基座模型本身大致相当。IBM 团队还向 vLLM 贡献了低秩 adapter 推理的加速内核，加上与基座同址部署的 ASR 编码器，聊天请求、决策请求、语音请求可以在同一个端点上跳来跳去。

数字方面：Guardian aLoRA 在安全相关决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 与 Clef-Flash。一个 3B 的自定义 Granite Switch 模型玩 Doom 时做到每秒 60–100 次决策，Jev 报告的数是每秒 10 次，前者还能在打游戏的过程中回答提问。30B 版本（冻结基座加 4 个专用 aLoRA）在真实五步 RAG 流程里跑赢 Jev-27B。

行业影响

决策模型这个品类这两周密集出现，Granite Switch 给出的差异化不在分数，而在部署形态：把通用决策、专用判定、语音转写压进一个端点，显存开销与单个基座持平。当企业侧的账单由 GPU 数量决定时，「一份显存干三件事」比「三个模型各占一份」更能改变采购算式。它把 adapter 从微调工具重新定位为能力插槽——专用 adapter 与通用 adapter 共享缓存，加一个专家的边际成本接近于零，这也解释了为什么专用 adapter 能在分类任务上压过通用决策模型。开源可组合（Granite Switch 的 adapter 目录对第三方开放）则是把这条形态交给社区去填。

相关链接