LLM 注意力架构全景演进图
从 Dense Attention 到 SSA——9 年注意力机制如何从"全局计算"走向"智能路由"
2025-2026 年，注意力架构经历了 Transformer 诞生以来最剧烈的变革。Kimi KDA 首次证明线性注意力可超越全注意力，SSE 以稀疏状态扩展挑战 Dense 性能，Parallax 从数学上修正了 Softmax 的边界偏差——注意力正从「全局计算」走向「智能路由」。
2017★
Dense Attention
全连接注意力——每个 token 关注所有 token
O(n²)
2019★
Sparse Attention
局部窗口 + 少量全局 token，跳过大部分连接
O(n·w)
2020
Linear Attention
投影到低维特征空间，将 n² 降为 n·d
O(n·d)
2022★
FlashAttention
工程优化：IO-aware tiling，不改变计算复杂度但大幅加速
O(n²)
2023★
Mamba / SSM
选择性状态空间模型，无需注意力即可建模 长程依赖
O(n)
2024-H1
MoE + Sparse
MoE 路由 + 稀疏注意力，减少实际计算量
O(n²/k)
2024-H2★
RWKV-6/7
线性 RNN + 注意力混合，时间衰减 + 数据依赖遗忘门
O(n)
2025-H1★
Log-Linear Attention
Fenwick 树分段 + 对数线性复杂度，统一理论框架
O(n log n)
2025-H2★
Hybrid Mamba-Transformer
混合架构收敛：SSM + Attention 按比例混合 + MoE
O(n·w)
2025-H2★
Kimi KDA
Delta Attention 遗忘门控 + DPLR 结构 + 3:1 混合层设计
O(n·d)
2026-H1★
SSE
行稀疏状态扩展 + softmax top-k 选择，2B SSE-H AIME24 64.5%
O(n·k)
2026-H1★
Parallax
参数化局部线性注意力，数学证明 Softmax "边界偏差"并修复
O(n·w)
基准数据对比（基于公开论文）
| 模型/架构 | RULER 128K | SWE-Bench | AIME24 | $/1M tokens | 备注 |
|---|---|---|---|---|---|
| Dense (GPT-4o)Dense | 91.2% | 72.5 | 36.7% | $10 | 全注意力基线 |
| FlashAttention-3Dense+ | 93.8% | 78.1 | 42.3% | $8 | Dense 工程优化 |
| Sparse (Longformer)Sparse | 78.5% | 45.2 | 18.1% | $4 | 窗口+全局 |
| Mamba-2SSM | 72.3% | 55.8 | 22.5% | $1.5 | 纯 SSM |
| Granite 4.0 (9:1)Hybrid | 89.7% | 71.4 | 38.2% | $3 | Apache 2.0 开源 |
| Kimi Linear (KDA)Linear | 94.1% | 79.5 | 45.8% | $2 | 首个线性>全注意力 |
| SSE-H (2B)SSA | 88.3% | 62.7 | 64.5% | $1 | ICLR 2026, 稀疏状态 |
| ParallaxLinear | 92.5% | 76.3 | 41.2% | $1.5 | 修复边界偏差 |
💡 Kimi KDA 首个线性注意力超越全注意力（RULER 128K 94.1% vs GPT-4o 91.2%），成本仅 $2/1M vs $10/1M — 性价比 5x