Attention 全景工作台
注意力机制可视化 + MHA/GQA/MQA/MLA 架构对比 + KV Cache 计算 + 窗口策略 + 进化时间线
模型预设
GQA 架构示意图Grouped-Query Attention
参数配置
n_heads (Query)32
n_kv_heads8
d_head128
n_layers32
seq_len8,192
precision
KV Cache 内存对比
公式: 2 × n_kv_heads × d_head × seq_len × n_layers × precision_bytes
MHA
4.00 GB
基线
GQA
1.00 GB
-75%
MQA
128.0 MB
-97%
MLA
512.0 MB
-88%
吞吐量估算（A100 80GB）
基于 HBM 带宽和 KV Cache 大小的简化估算。曲线中断表示超出 GPU 显存（OOM）。
MHA
GQA
MQA
MLA
为什么注意力架构如此重要
推理阶段，KV Cache 是内存消耗的主要来源。以 Llama 3 70B 为例，在 8K 序列长度下：
MHA 需要 ~20 GB KV Cache，GQA (8:1) 只需 ~2.5 GB——节省 87.5%。
这直接决定了同一块 GPU 能同时服务多少用户（batch size），从而决定推理成本。
所有数值基于简化模型估算，实际部署还需考虑模型权重、激活值、系统开销等因素。
2026 年注意力新范式：三条并行路线
注意力机制不再只是 MHA→GQA→MLA 的线性演进，三条并行路线正在同时展开：
⚡极端量化
Binary Attention（1-bit QK）：XNOR+popcount 替代浮点点积，A100 加速 2×。挑战「低比特=低精度」常识。
🔄线性替代
Gated DeltaNet / Lightning Attn：Qwen3.5 397B 采用 3:1 混合，80%+ 线性层无 KV Cache。
📦比特压缩
KV Cache 2-bit 量化 + K=V 共享：Gemma 4 将 KV 压缩至 MHA 的 1/32，长上下文近乎无损。
精度效率
三角权衡：量化偏效率、线性偏速度、压缩偏低显存 —— 三条路线从不同方向逼近同一目标