论文精读已修订

DeepSeek-V4 深度精读：百万 Token 上下文的效率革命

从架构创新到工程实现，逐层拆解 DeepSeek-V4 系列的压缩注意力机制、mHC、Muon 优化器、FP4 量化训练、以及后训练流水线。

2026年4月24日 DeepSeek MoE 注意力机制长上下文预训练后训练 RL 蒸馏

这是一篇对 DeepSeek-V4 技术报告（58 页）的深度精读。DeepSeek-V4 系列包含两个模型——V4-Pro（1.6T 参数，49B 激活）和 V4-Flash（284B 参数，13B 激活），均原生支持 100 万 Token 上下文。报告的核心叙事是：通过架构级的注意力压缩，打破长上下文推理的效率瓶颈，使百万级上下文在推理时可承受。

§1 一句话定位

DeepSeek-V4 的核心不是”更大”，而是”更省”。在 1M Token 上下文下：

指标	V4-Pro vs V3.2	V4-Flash vs V3.2
单 Token 推理 FLOPs	27%（3.7× 降低）	10%（9.8× 降低）
KV Cache 大小	10%（9.5× 压缩）	7%（13.7× 压缩）

换句话说，V4-Pro 在 1M Token 场景下的计算量不到 V3.2 的三分之一，KV Cache 只有十分之一。V4-Flash 更极端——计算量仅十分之一，缓存仅十四分之一。

这意味着百万 Token 上下文从”技术演示”变成了”日常可用”——对 test-time scaling、长程 Agent 任务、跨文档分析等场景具有实质性意义。

§2 架构总览：继承与创新

V4 的架构可以拆成四层来理解：

Layer 4: Multi-Token Prediction（MTP）          ← 继承自 V3，未改
Layer 3: DeepSeekMoE（FFN 层）                  ← 继承自 V3，微调激活函数
Layer 2: 混合注意力（CSA + HCA）                ← 全新设计，核心创新
Layer 1: Manifold-Constrained Hyper-Connections ← 全新设计，替代残差连接
Optimizer: Muon                                 ← 全新引入，替代 AdamW（大部分参数）

2.1 从 V3 继承的设计

DeepSeekMoE：仍然使用细粒度路由专家 + 共享专家的架构。变化很小：

激活函数从 Sigmoid(·) 改为 Sqrt(Softplus(·))
取消了路由目标节点数量的约束
前 3 层 MoE 使用 Hash 路由（按 Token ID 的哈希值确定目标专家，不可学习）

MTP：Multi-Token Prediction 模块和目标函数完全沿用 V3 的设计，预测深度设为 1。

2.2 Manifold-Constrained Hyper-Connections（mHC）

这是对 Transformer 中残差连接的升级。标准残差连接是 x + F(x)，Hyper-Connections（HC）将残差流展宽为 n_hc 倍，通过矩阵变换实现更灵活的信息传递。但原版 HC 在深层堆叠时会数值不稳定。

mHC 的核心想法：把残差映射矩阵 B 约束到双随机矩阵流形上（Birkhoff 多面体），确保谱范数 ≤ 1，使信号传播不膨胀。

具体实现：

三个线性映射（输入 A、残差 B、输出 C）都由动态参数化生成——包含输入相关的动态分量和输入无关的静态偏置
A 和 C 通过 Sigmoid 确保非负有界
B 通过 Sinkhorn-Knopp 算法（20 次迭代）投影到双随机矩阵流形
展宽因子 n_hc = 4

工程代价：mHC 增加了激活内存和流水线通信量。通过融合 kernel、选择性重计算、调整 DualPipe 调度，额外 wall-time 开销控制在 6.7%。

2.3 混合注意力：CSA + HCA

这是 V4 最核心的创新，也是百万 Token 效率飞跃的直接来源。两种注意力机制交替使用。

2.3.1 Compressed Sparse Attention（CSA）

CSA 分两步压缩：

第一步：Token 级压缩。 每 m 个 Token 的 KV 条目被压缩为一个条目。压缩方式不是简单平均——每个 Token 生成两组 KV 条目 (Ca, Cb) 和对应的权重 (Za, Zb)，通过可学习的位置偏置和 Softmax 加权求和。注意每个压缩条目实际上从 2m 个 KV 条目中聚合（当前块和前一块各 m 个），但相邻块有重叠，所以实际压缩比是 1/m。

V4-Flash 设 m=4，V4-Pro 也设 m=4。

第二步：稀疏选择。 压缩后仍然有 n/m 个 KV 条目。CSA 进一步使用 Lightning Indexer 对每个 query 选择 top-k 个最相关的压缩 KV 条目：

Indexer 的 query 和 key 共享 query 的压缩潜向量（低秩分解）
索引分数通过多头加权 ReLU 注意力计算
Top-k 选择后，只对选中的 KV 条目做 MQA

V4-Flash 的 attention top-k = 512，V4-Pro = 1024。

Shared Key-Value MQA：核心注意力采用 Multi-Query Attention——每个压缩 KV 条目同时充当 key 和 value。这进一步减少 KV Cache。

Grouped Output Projection：由于 V4 的 c × n_h 非常大（V4-Pro: 512 × 128 = 65536），直接投影到隐层维度 d 计算量很大。因此先分组投影到中间维度 d_g，再合并到最终输出。

2.3.2 Heavily Compressed Attention（HCA）

HCA 的压缩策略与 CSA 类似，但更激进：

压缩率 m’ = 128（CSA 的 32 倍）
不做重叠压缩（每个条目只从自己的 m’ 个 Token 聚合）
不做稀疏选择——压缩后直接对所有条目做密集注意力

HCA 的设计意图很明确：用极端压缩换取全局信息保留。一个 HCA 层在 1M Token 下只需要处理 ~8K 个压缩 KV 条目。

2.3.3 辅助设计

Sliding Window 分支：CSA 和 HCA 都额外增加了一个滑动窗口注意力分支（窗口大小 n_win = 128），处理最近的未压缩 Token，弥补压缩导致的局部信息损失。

Partial RoPE：对 query 和 KV 条目的最后 64 个维度应用 RoPE。由于 KV 条目同时作为 key 和 value，核心注意力输出也需要反向 RoPE（位置 -i）来消除绝对位置嵌入，保留相对位置。

Attention Sink：每个注意力头设置一个可学习的 sink logit z’_h，加到注意力分数的分母中。效果：允许注意力分数总和不等于 1（甚至接近 0），给模型”不关注任何 token”的选项。

2.3.4 效率收益

论文给出了一个惊人的数字：在 1M Token 下，V4 的 KV Cache 大小约为标准 BF16 GQA8（head dim=128）的 2%。

这个 2% 怎么来的：

压缩（CSA 4× + HCA 128×，交替使用）
BF16/FP8 混合存储（RoPE 维度 BF16，其余 FP8）
Indexer QK 路径 FP4 精度
更小的 attention top-k

§3 Muon 优化器

V4 将大部分参数的优化器从 AdamW 替换为 Muon。保留 AdamW 的模块：embedding、prediction head、mHC 的静态偏置和门控因子、所有 RMSNorm 权重。

Muon 的核心操作是对梯度矩阵做近似正交化——给定梯度 M 的 SVD 为 UΣV^T，Muon 通过 Newton-Schulz 迭代逼近 UV^T。

V4 的具体实现：

混合 Newton-Schulz 迭代：10 步，前 8 步用 (a, b, c) = (3.4445, −4.7750, 2.0315) 快速收敛，后 2 步用 (2, −1.5, 0.5) 稳定到 1。

关键工程优化：

Hybrid ZeRO 分配：dense 参数限制最大 ZeRO 并行度，用背包算法平衡负载；MoE 参数展平后全 ZeRO
Newton-Schulz 迭代在 BF16 下稳定，MoE 梯度同步量化到 BF16，通信量减半
不需要 QK-Clip（因为注意力 query 和 KV 都经过 RMSNorm）

§4 基础设施亮点

4.1 MoE 细粒度通信-计算重叠

将 MoE 层的 Dispatch（通信）→ Linear-1（计算）→ Activation → Linear-2（计算）→ Combine（通信）拆分为wave-based 流水线：

专家被分成多个 wave，每个 wave 只包含部分专家
一个 wave 的计算、下一个 wave 的通信、已完成 wave 的结果发送并行执行
相比 naive 方案加速 1.92×，已开源为 MegaMoE（DeepGEMM 的一部分）

一个实用的洞察——通信可被完全隐藏的条件：

C/B ≤ 2d = 6144 FLOPs/Byte  （对于 V4-Pro）

即每 GBps 互联带宽可隐藏 6.1 TFLOP/s 计算。超过这个阈值后，继续增加带宽边际收益递减。

4.2 TileLang 高效 Kernel

V4 使用 TileLang（DSL）替代手写 CUDA，开发了大量融合 kernel。关键创新：

Host Codegen：将 host 端逻辑从 Python 下沉到生成的 C++ 代码，单次调用开销从百微秒降到 < 1 微秒
Z3 SMT Solver 辅助：用 Z3 做形式化整数分析（quantifier-free non-linear integer arithmetic），驱动向量化、barrier 插入、代码简化
数值正确性：默认禁用 fast-math，提供 IEEE-754 精确内建函数和 layout 注解实现 bitwise 可复现

4.3 Batch-Invariant + Deterministic Kernel

为了调试和可复现性，V4 实现了端到端的 batch-invariant 和确定性 kernel：

Batch Invariance（同一 token 在不同 batch 位置产出完全相同的结果）：

注意力：双 kernel 策略——第一个 kernel 单 SM 处理整个序列，第二个 kernel 多 SM 但对齐累加顺序
矩阵乘法：用 DeepGEMM 替代 cuBLAS，放弃 split-k（不满足 batch invariance），通过其他优化补回性能

Determinism（消除原子操作导致的不确定性）：

注意力反向传播：为每个 SM 分配独立累加 buffer，然后确定性全局求和
MoE 反向传播：预处理 token 顺序 + 跨 rank buffer 隔离
mHC 小矩阵乘法：split-k 的各 part 分开输出，后续 kernel 确定性归约

4.4 FP4 量化感知训练（QAT）

在后训练阶段引入 FP4 (MXFP4) 量化感知训练，目标是两个组件：

MoE 专家权重：FP32 master weight → 量化到 FP4 → 反量化到 FP8 → 参与前向计算。关键发现：FP4-to-FP8 反量化是无损的（FP8(E4M3) 有 2 个额外指数位），因此整个 QAT 流水线可以完全复用现有 FP8 训练框架，无需任何修改。
CSA Indexer 的 QK 路径：QK 激活全程 FP4 缓存、加载、乘法。索引分数从 FP32 压缩到 BF16，top-k 选择器加速 2×，KV 条目召回率 99.7%。

推理和 RL rollout 阶段直接使用真实 FP4 权重（非模拟量化），确保采样行为与线上部署完全一致。

4.5 推理 KV Cache 管理

混合注意力带来了异构 KV Cache 挑战——CSA 和 HCA 的压缩比不同、sliding window 有独立的淘汰策略、压缩未满的尾部 token 需要缓冲。

解决方案：将 KV Cache 分为两部分：

组件	内容	策略
State Cache	SWA KV + 未压缩尾部 token	每个请求固定大小，动态分配
Classical KV Cache	CSA/HCA 压缩后的 KV	按 lcm(m, m’) 原始 token 分块

On-Disk KV Cache：对共享前缀请求，压缩 KV 条目存储到磁盘。SWA KV 有三种策略：

Full Caching：存全量，零重算，写放大
Periodic Checkpointing：每 p 个 token 存一次检查点，重算尾部
Zero Caching：不存 SWA KV，命中前缀时重算最后 n_win × L 个 token

§5 预训练

5.1 数据

在 V3 的基础上进一步改进：

Web 数据过滤批量自动生成和模板内容（防 model collapse）
中训练（mid-training）阶段加入 agentic data 增强代码能力
扩大多语言语料（长尾文化知识）
特别强调长文档——科学论文、技术报告
最终语料 > 32T tokens（V4-Flash）/ 33T tokens（V4-Pro）
sample-level attention masking（区别于 V3 的 document-level）

5.2 训练配置

参数	V4-Flash	V4-Pro
Transformer 层数	43	61
隐层维度 d	4096	7168
CSA query heads	64	128
HCA query heads	64	128
Head dim c	512	512
Query 压缩维度 d_c	1024	1536
CSA attention top-k	512	1024
路由专家 / 激活专家	256 / 6	384 / 6
专家 FFN dim	2048	3072
总参数	284B	1.6T
激活参数	13B	49B
训练 tokens	32T	33T
峰值学习率	2.7×10⁻⁴	2.0×10⁻⁴
最大 batch size	75.5M tokens	94.4M tokens

序列长度演进：4K → 16K → 64K → 1M

稀疏注意力引入：先用密集注意力训练（V4-Flash 约 1T tokens，V4-Pro 更长），然后在 64K 长度时引入稀疏注意力，分两阶段——先 warmup Lightning Indexer，再正式稀疏训练。

5.3 训练稳定性

V4 在训练中遇到了 loss spike 问题，根因定位为 MoE 层的 outlier（路由机制加剧 outlier 出现）。两个实用技巧：

Anticipatory Routing：在 step t 时，用当前参数 θ_t 做特征计算，但路由索引用历史参数 θ_{t-Δt} 计算。实现上，在 step t-Δt 时”预取” step t 的数据并缓存路由索引。配合自动检测机制——只在 loss spike 发生时激活，恢复后关闭。额外 wall-time 开销约 20%（仅在 spike 期间）。

SwiGLU Clamping：将 SwiGLU 的线性分量 clamp 到 [-10, 10]，gate 分量上界 clamp 到 10。没有影响性能，但有效消除了 outlier。

5.4 Base 模型评测

维度	V4-Flash-Base vs V3.2-Base	V4-Pro-Base vs V3.2-Base
世界知识	大幅领先（尤其 Simple-QA +2, FACTS +7）	压倒性领先（Simple-QA +27, FACTS +35）
语言推理	大致持平	略优
代码数学	互有胜负	多数领先
长上下文	LongBench-V2 +4.5	LongBench-V2 +11.3

V4-Flash-Base 用更少的参数（13B 激活 vs 37B）在多数基准上超过了 V3.2-Base。V4-Pro-Base 全面碾压。

§6 后训练

6.1 专家训练 → 蒸馏合并

后训练流水线的核心变化：混合 RL 阶段被完全替换为 On-Policy Distillation（OPD）。

V3.2 流水线：SFT → 混合 RL（多域同时训练）
V4 流水线：  SFT → 域专家 RL（独立训练）→ OPD（多教师蒸馏合并）

专家训练：对每个目标域（数学、代码、Agent、指令遵循等），独立训练一个专家模型——先 SFT 建立基础能力，再用 GRPO + 域特定奖励信号做 RL。

推理模式：V4 支持三种推理努力级别：

模式	特点	上下文窗口
Non-think	快速直觉响应	8K
Think High	有意识的逻辑分析	128K
Think Max	推到极限	384K

Max 模式会在 system prompt 注入特殊指令：“You MUST be very thorough in your thinking and comprehensively decompose the problem to resolve the root cause…”

Generative Reward Model（GRM）：对于难以用规则验证的任务，V4 不使用传统的标量奖励模型，而是让 actor 自身作为 GRM——用 rubric 引导的数据训练模型同时具备生成和评判能力，通过 RL 直接优化评判准确性。

6.2 On-Policy Distillation（OPD）

OPD 将多个域专家的知识合并到一个统一模型中：

L_OPD(θ) = Σ w_i · D_KL(π_θ ‖ π_E_i)

关键设计选择：使用全词表 logit 蒸馏而非 token-level KL 估计。后者方差大、训练不稳定。前者保留完整 logit 分布，梯度估计更稳定。

工程挑战——如何同时使用十多个万亿参数级教师模型：

教师权重全部 offload 到分布式存储，按需加载（ZeRO-like 参数分片）
不缓存 logits（词表 > 100K，跨所有教师存不下），而是缓存教师最后一层隐状态，训练时按需通过 prediction head 重建 logits
训练样本按教师 ID 排序，确保每个 mini-batch 最多加载一个教师 head
所有加载/卸载异步执行，不阻塞计算

6.3 其他基础设施

Tool-Call Schema：V4 引入了基于 XML 的 |DSML| 格式（详见论文 Table 4），替代了 V3.2 的格式。XML 格式显著减少了转义失败和工具调用错误。

Interleaved Thinking：V4 利用 1M Token 上下文优势改进了思考管理：

工具调用场景：所有推理内容跨轮次完整保留（包括跨用户消息边界）
普通对话：沿用 V3.2 的丢弃策略

DSec 沙箱平台：三个 Rust 组件（API Gateway + Host Agent + Cluster Monitor），基于 3FS 分布式文件系统，管理十万级并发沙箱实例。支持四种执行底层（Function Call / Container / microVM / fullVM），共享统一 API。轨迹日志支持确定性回放。

6.4 百万 Token RL

针对百万 Token 序列的 RL/OPD 做了专门优化：

Preemptible Rollout Service：token 粒度的 Write-Ahead Log（WAL），抢占时保存 KV Cache，恢复时续接
- 不从头重新生成（会引入长度偏差：短响应更容易存活）
数据格式拆分为轻量 metadata + 重量 per-token fields，metadata 全局 shuffle，per-token 按需加载+用后释放

§7 评测结果：关键数字

7.1 知识与推理

Benchmark	V4-Pro-Max	Opus-4.6-Max	GPT-5.4-xHigh	Gemini-3.1-Pro-High
SimpleQA-Verified	57.9	46.2	45.3	75.6
Chinese-SimpleQA	84.4	76.4	76.8	85.9
GPQA Diamond	90.1	91.3	93.0	94.3
HLE	37.7	40.0	39.8	44.4
LiveCodeBench	93.5	88.8	-	91.7
Codeforces Rating	3206	-	3168	3052
HMMT 2026 Feb	95.2	96.2	97.7	94.7
Apex Shortlist	90.2	85.9	78.1	89.1

定位判断：

知识维度，V4-Pro-Max 在 SimpleQA 上比开源模型大幅领先 20+%，但仍落后于 Gemini-3.1-Pro
编码竞赛（Codeforces 3206）首次与 GPT-5.4 持平，开源模型首次达到这个水平
推理整体落后 GPT-5.4 和 Gemini-3.1-Pro 约 3-6 个月

7.2 Agent

Benchmark	V4-Pro-Max	Opus-4.6-Max	GPT-5.4-xHigh	Gemini-3.1-Pro
Terminal Bench 2.0	67.9	65.4	75.1	68.5
SWE Verified	80.6	80.8	-	80.6
BrowseComp	83.4	83.7	82.7	85.9
MCP Atlas	73.6	73.8	67.2	69.2
Toolathlon	51.8	47.2	54.6	48.8

Agent 能力与 K2.6、GLM-5.1 持平，但整体仍略逊于闭源前沿。亮点是 MCP Atlas 和 Toolathlon——涉及大量工具和 MCP 服务的泛化测试表现优秀。

7.3 百万 Token 上下文

Benchmark	V4-Pro-Max	Opus-4.6-Max	Gemini-3.1-Pro
MRCR 1M	83.5	92.9	76.3
CorpusQA 1M	62.0	71.7	53.8

V4-Pro 在 MRCR 上超过 Gemini-3.1-Pro 但落后于 Opus-4.6。Figure 9 显示 128K 内检索性能高度稳定，128K+ 开始下降但在 1M 时仍然可用。CorpusQA（更接近真实场景）上超过了 Gemini。

7.4 V4-Flash vs V4-Pro

维度	差异
知识	Flash 明显弱于 Pro（参数规模决定知识容量）
推理	给足 budget 时接近 Pro（Max 模式差距很小）
Agent	简单任务持平，高难度任务 Flash 落后
效率	Flash 的推理 FLOPs 仅为 Pro 的 ~27%（10% vs 27% of V3.2）

7.5 实际场景表现

中文写作：

vs Gemini-3.1-Pro：功能写作 62.7% 胜率，创意写作 60.0%（指令跟随）/ 77.5%（写作质量）
vs Claude Opus 4.5：在最难的高复杂度约束 + 多轮场景中，V4-Pro 以 45.9% 略负于 52.0%

内部 R&D 编码：V4-Pro-Max 67% pass rate，超过 Sonnet 4.5（47%），接近 Opus 4.5（70%）

§8 设计决策分析

8.1 为什么用 CSA + HCA 混合而不是只用一种

CSA（轻压缩 + 稀疏选择）和 HCA（重压缩 + 密集注意力）各有优劣：

特性	CSA (m=4)	HCA (m’=128)
压缩率	4×	128×
注意力范围	稀疏 top-k	全部压缩条目
适合捕捉	精确的局部/中距依赖	全局语义趋势
KV 条目数 (1M token)	~250K → top-k 选 512/1024	~8K

交替使用让模型同时具备精确检索（CSA）和全局感知（HCA）能力。

8.2 为什么引入 Muon 替代 AdamW

论文给出的理由是”更快收敛和更好的训练稳定性”。但保留了 embedding、prediction head 等模块的 AdamW——推测这些模块的梯度矩阵形态不适合正交化处理（embedding 矩阵的行对应词表，正交化可能破坏词向量空间结构）。

8.3 为什么用 On-Policy Distillation 替代混合 RL

V3.2 用混合 RL（同时在多个域上训练）存在域间干扰问题。OPD 的优势：

各域专家独立训练到最优，互不干扰
合并时通过 reverse KL 蒸馏，学生模型在自己的 on-policy 轨迹上选择性学习
工程上可以灵活增减教师，不需要重训

代价：需要维护十多个教师模型的推理服务，工程复杂度高。但 V4 的 FP4 量化 + 按需加载策略有效缓解了这个问题。

8.4 为什么 Anticipatory Routing 有效

论文坦言”理论机制尚不清楚”。一个可能的解释：路由索引和主干网络同步更新时，outlier token 会通过路由反馈被持续放大（越大的值越容易被路由到同一个专家，集中后又变得更大）。解耦更新打破了这个正反馈循环。

§9 与前代的演进对比

维度	V3 (2024.12)	V3.2 (2025.12)	V4 (2026)
注意力	MLA	MLA + DeepSeek Sparse Attention	CSA + HCA 混合压缩
残差连接	标准	标准	mHC
优化器	AdamW	AdamW	Muon（大部分参数）
专家精度	FP8	FP8	FP4 (QAT)
上下文	128K	128K	1M（原生支持）
后训练	SFT + RL	SFT + 混合 RL	SFT + 域专家 RL + OPD
推理模式	无	Non-think / Think	Non-think / High / Max
工具调用	-	JSON	XML (DSML)
沙箱	-	-	DSec（十万级并发）