章节导航 第 4 章 / 共 10 章
第 4 章

第四章：架构暗战

从 Transformer 原始设计到现代 LLM 架构：十几个不起眼的改动如何重塑了整个行业（2018-2025）

大模型 AI历史 架构 RoPE Flash Attention MoE MLA GQA 关键时刻

第四章：架构暗战

那些不上头条、却真正决定了谁能赢的技术演进（2018-2025）

前三章讲的是大模型的”高光时刻”——Transformer 的诞生、ChatGPT 的爆发、Scaling Laws 的发现。这些都是能上新闻头条的事件。

但大模型的真实进化史中，有一条暗线同样关键：架构层面的持续改良。 这些改良很少登上热搜，每一个单拎出来都不算”革命”。但正是它们的累积效应，决定了谁能用更少的钱训出更好的模型，谁能把上下文从 2K 扩展到 100 万 token，谁能让推理成本降到竞争对手的 1/100。

这是一场没有硝烟的暗战。赢家不是最先发论文的人，而是最先把这些改良组合到一起、形成工程优势的人。

4.1 “现代 LLM 配方”的结晶

2023 年 2 月，Meta 发布 LLaMA 时，它的技术贡献并不在于提出了什么新东西。它的真正意义在于把过去几年散落在不同论文中的架构改良，第一次打包成了一个清晰的、可复现的”配方”：

现代 LLM 标准配方 (2023-)：
  Transformer Decoder-only
  + RMSNorm (Pre-Norm)
  + SwiGLU 激活函数
  + RoPE 旋转位置编码
  + GQA 分组查询注意力（大模型）

在 LLaMA 之前，这些组件各自存在于不同的论文中：RMSNorm 来自 2019 年的论文，SwiGLU 来自 Google 2020 年的实验，RoPE 来自苏剑林 2021 年的工作，GQA 来自 Google 2023 年的研究。没有人把它们放在一起验证过。

LLaMA 做了这件事。它用一个清晰的实验证明：这套组合比原始 Transformer 高效得多——同样的计算预算下，训练出来的模型明显更好。

从 LLaMA 之后，几乎所有主流开源模型——Qwen、Mistral、DeepSeek、Yi、Baichuan——都采用了这套或类似的配方。它变成了行业的”标准答案”。

但每个组件背后，都有一段从”边缘想法”到”行业共识”的故事。

4.2 位置编码：从绝对到旋转

原始 Transformer 的位置编码

Transformer 的自注意力机制有一个固有的问题：它不知道 token 的顺序。 对自注意力来说，“猫吃鱼”和”鱼吃猫”是一样的——因为注意力计算只关心 token 之间的相似度，不关心它们的位置。

原始 Transformer 用一组固定的正弦函数来编码位置信息（Sinusoidal Positional Encoding），直接加到 token 的嵌入向量上。这个方案简单粗暴，但有两个根本限制：

  1. 外推性差。 训练时用了 512 个位置，推理时遇到第 513 个位置就完全没见过。模型在训练长度之外的表现会急剧下降。
  2. 绝对位置 vs 相对位置。 对语言理解来说，“第 3 个词和第 5 个词的距离是 2”比”第 3 个词在位置 3”更有意义。但绝对位置编码不容易建模这种相对关系。

GPT 系列最初用的是可学习的位置嵌入（Learned Positional Embedding）——每个位置一个可训练的向量。这解决了正弦函数的僵化问题，但外推性更差：训练时的最大长度就是硬上限。

RoPE：优雅的解法

2021 年 4 月，来自追一科技的苏剑林发表了 RoFormer 论文，提出了旋转位置编码（Rotary Position Embedding，RoPE）。

RoPE 的核心思想可以用一句话概括：用旋转矩阵来编码位置信息，使得两个 token 之间的注意力得分只取决于它们的相对距离，而不是绝对位置。

具体来说，RoPE 对 Query 和 Key 向量中的每一对维度施加一个旋转变换，旋转角度与 token 的绝对位置成正比。当你计算两个 token 的注意力得分（Q·K 的内积）时，绝对位置信息会被抵消掉，只剩下相对距离——这是旋转矩阵的数学性质自然保证的。

这个设计有三个关键优势：

  1. 天然建模相对位置。 不需要额外的相对位置偏置，Q·K 的内积自动包含了相对位置信息。
  2. 计算高效。 旋转操作只是对向量维度两两配对做旋转，计算量可以忽略不计。
  3. 外推潜力。 虽然直接外推仍然会衰减，但 RoPE 的数学结构为后续的长度扩展留下了巨大的操作空间——这一点在发明时并不明显，但后来被证明极其重要。

从 2K 到 100 万：RoPE 的”意外生命力”

RoPE 发明时，上下文长度还不是行业焦点。主流模型的上下文窗口是 2048 token（GPT-3）或 4096 token（LLaMA）。

但从 2023 年下半年开始，“长上下文”突然成了兵家必争之地。用户希望一次性输入整本书、整个代码仓库、甚至一小时的视频。上下文窗口需要从 4K 扩展到 32K、128K、甚至百万级别。

这时候，RoPE 的数学结构展现出了惊人的可扩展性。研究者们发现，通过巧妙地调整 RoPE 的频率参数，可以让模型”理解”远超训练长度的位置：

  • NTK-aware Scaling（2023.06）： Reddit 用户 “bloc97” 发现，只需调整 RoPE 的基频参数 θ（base frequency），就能在不微调模型的情况下大幅扩展上下文长度。这个发现来自一个匿名网友，却被整个行业迅速采纳。
  • YaRN（2023.08）： 对 NTK 方法的改进，对不同频率维度施加不同的缩放策略，进一步提升了外推效果。
  • LongRoPE（2024.02）： 微软的工作，将 RoPE 扩展到 200 万 token 以上。通过非均匀的位置插值和渐进式训练，让模型在超长上下文中保持有效。

回头看，这段历史有一个教训：一个技术的最大价值可能不在于它发明时解决的问题，而在于它为未来留下的扩展空间。 苏剑林在 2021 年提出 RoPE 时，不太可能预见到它会成为百万级上下文的基石。但 RoPE 的数学结构天然适合频率域操作，这让后续的扩展变得优雅而高效。

如今，RoPE 是几乎所有主流 LLM 的标配。GPT 系列、Llama 系列、Qwen 系列、DeepSeek 系列——无一例外。

4.3 Flash Attention：一个人改变了整个行业的效率

注意力计算的内存瓶颈

Transformer 的自注意力计算有一个众所周知的问题：O(n²) 的时间和空间复杂度。对于长度为 n 的序列，需要计算一个 n×n 的注意力矩阵。当 n = 2048 时，这是 400 万个元素；当 n = 32768 时，这是 10 亿个元素。

但很长时间以来，大家都在想办法”绕过”这个 O(n²)——用各种稀疏注意力、线性注意力、局部注意力来降低复杂度。这些方法往往在数学上很漂亮，但在实际效果上有损失：注意力的全局性是 Transformer 的核心优势，砍掉一部分注意力就意味着砍掉一部分能力。

2022 年，斯坦福的博士生 Tri Dao 提出了一个完全不同的思路：不改变注意力计算的数学内容，而是改变它的计算方式。

IO-Aware 的算法设计

Tri Dao 的洞察是：标准注意力实现的瓶颈不在计算量，而在内存带宽。

GPU 有两级存储：一个很快但很小的 SRAM（片上缓存，A100 上约 20MB），和一个很大但相对慢的 HBM（高带宽显存，A100 上约 40-80GB）。标准注意力计算的过程是：

  1. 从 HBM 读取 Q、K 矩阵到 SRAM
  2. 计算 Q×K^T 注意力矩阵
  3. 把注意力矩阵写回 HBM（因为太大了，SRAM 放不下）
  4. 从 HBM 重新读取注意力矩阵
  5. 计算 softmax
  6. 写回 HBM
  7. 读取，乘以 V 矩阵
  8. 最终写回 HBM

中间的 n×n 注意力矩阵在 HBM 和 SRAM 之间反复搬运，这才是真正的瓶颈。

Flash Attention 的核心技巧是：永远不要把完整的 n×n 注意力矩阵写入 HBM。 通过分块（tiling）技术，将 Q、K、V 分成小块，每次只在 SRAM 中计算一小块的注意力，然后通过一个巧妙的在线 softmax 算法（online softmax），在不保存完整注意力矩阵的情况下计算出正确的结果。

数学上的结果完全一样——这是精确注意力，不是近似。但内存占用从 O(n²) 降到了 O(n)，实际速度提升了 2-4 倍。

一个人的行业影响

Flash Attention 的论文于 2022 年 5 月发布。在接下来的两年里：

  • Flash Attention-2（2023.07）： 速度再翻倍，达到标准实现的 5-9 倍，接近理论 FLOPS 上限的 50-73%。
  • Flash Attention-3（2024.07）： 针对 H100 GPU 的 Tensor Core 做了进一步优化，支持 FP8 注意力计算。

到 2024 年，几乎所有大模型的训练和推理都在使用 Flash Attention 或其衍生实现。PyTorch 在 2.0 版本中直接集成了它。Hugging Face Transformers 库默认启用它。NVIDIA 的 TensorRT-LLM 内置了它。

Tri Dao 后来联合创办了 Together AI，其核心技术优势很大程度上来自对 GPU 内存层级的深度理解。

Flash Attention 的故事说明了一件事：在 AI 领域，硬件感知的系统级优化可能比算法创新更有现实影响力。 学术界花了几年时间研究各种”高效注意力”的数学近似方案，最终被一个”不改变数学、只改变实现”的工程方案彻底碾压。

4.4 注意力机制的效率之战：MHA → MQA → GQA → MLA

KV Cache：推理效率的隐形杀手

大模型推理有一个不太直觉的问题：推理速度的瓶颈往往不是计算，而是内存。

在自回归生成中，模型每生成一个新 token，都需要用到之前所有 token 的 Key 和 Value 向量。为了避免重复计算，这些向量会被缓存起来——这就是 KV Cache。

KV Cache 有多大？一个 70B 参数的模型，128K 上下文，使用标准多头注意力（MHA），KV Cache 需要超过 60GB 显存。这意味着一张 80GB 的 A100 GPU，光 KV Cache 就占了 75% 的显存，留给模型参数和计算的空间所剩无几。

更关键的是，KV Cache 决定了你能同时服务多少用户。每个并发用户都需要自己的 KV Cache，缓存越大，并发能力越低，推理成本越高。

这就是为什么注意力机制的”效率之战”如此重要——它直接决定了大模型的部署成本。

MQA：Google 的激进方案（2019）

2019 年，Google 的 Noam Shazeer（Transformer 论文的共同作者之一）提出了 Multi-Query Attention（MQA）：所有的注意力头共享同一组 Key 和 Value，只有 Query 是独立的。

这是一个极其激进的方案。以 32 头注意力为例：

  • MHA：32 组 Q、32 组 K、32 组 V → KV Cache = 32 份
  • MQA：32 组 Q、1 组 K、1 组 V → KV Cache = 1 份

KV Cache 直接缩小到 1/32。推理速度大幅提升。

但代价是什么？模型质量有损失。 所有头共享 K 和 V，意味着不同注意力头失去了”看不同方面”的能力。在实验中，MQA 的模型质量比 MHA 差了一个可感知的幅度。

PaLM（2022）和 Falcon（2023）采用了 MQA，但大多数模型选择了不冒这个险。

GQA：折中的智慧（2023）

2023 年，Google 提出了 Grouped Query Attention（GQA）：把注意力头分成若干组，每组共享一组 K 和 V。

以 32 头、8 组 GQA 为例：

  • MHA：32 组 Q、32 组 K、32 组 V → KV Cache = 32 份
  • GQA-8：32 组 Q、8 组 K、8 组 V → KV Cache = 8 份
  • MQA：32 组 Q、1 组 K、1 组 V → KV Cache = 1 份

GQA 是 MHA 和 MQA 的折中——KV Cache 减少到 1/4，但每组仍然有独立的 K、V，模型质量几乎不受影响。

Llama 2（2023.07）在 34B 和 70B 规模上首次大规模采用了 GQA。此后它迅速成为大模型的标配。到 2025 年，几乎所有主流模型都使用 GQA。

MLA：DeepSeek 的降维打击（2024）

GQA 把 KV Cache 减少到了 MHA 的 1/4 到 1/8，但 DeepSeek 觉得还不够。

2024 年 5 月，DeepSeek V2 提出了 Multi-head Latent Attention（MLA）：不再存储完整的 K、V 向量，而是用低秩压缩将它们压缩到一个低维的”潜在向量”（latent vector），推理时再解压。

类比来说：GQA 是”让几个人共用一间房”，MLA 是”把所有人的行李都压缩成随身包”。

具体来说，MLA 的 KV Cache 只需要存储一个维度远小于原始 K、V 的压缩向量（DeepSeek V2 中压缩到原始维度的约 1/6）。推理时通过一个低秩投影矩阵将压缩向量还原为 K、V。

结果：MLA 的 KV Cache 只有 MHA 的 5-13%，比 GQA 还小数倍，但模型质量不仅没有损失，反而因为低秩正则化效应还略有提升。

这是一个典型的”后来者优势”：MLA 站在 MQA 和 GQA 的肩膀上，用更优雅的数学工具（低秩分解）找到了效率和质量的更优平衡点。

4.5 MoE：从异端到正统

一个已有 30 年历史的老想法

Mixture of Experts（混合专家）不是新概念。它的学术源头可以追溯到 1991 年 Jacobs 等人的工作。核心思想很简单：不用一个大网络处理所有输入，而是用多个”专家”网络，每个专家擅长不同的东西，用一个路由器（router）决定每个输入送给哪些专家。

在 Transformer 时代之前，MoE 是一个小众方向，因为稀疏激活模型的训练极其困难：专家之间的负载不均衡、路由器训练不稳定、通信开销大。

第一次尝试：Switch Transformer（2021）

2021 年，Google 发表了 Switch Transformer，将 MoE 引入 Transformer 架构。核心简化：每个 token 只路由到 1 个专家（top-1 routing），而不是之前 MoE 文献中常见的 top-2。

Switch Transformer 的模型规模达到了 1.6 万亿参数——当时是前所未有的。但它的实际效果并不比同等计算量的 Dense 模型好多少，训练过程中频繁出现 loss spike 和专家崩溃（expert collapse）。

行业的判断是：MoE 理论上好，工程上太难。 大部分团队选择继续走 Dense 路线。

GPT-4 的”半公开秘密”（2023）

2023 年 6 月，SemiAnalysis 发布了一篇广为流传的分析文章，声称 GPT-4 使用了 MoE 架构：8 个 220B 参数的专家，每个 token 路由到 2 个专家，总参数约 1.76 万亿。

OpenAI 从未确认这一信息。但这个”泄露”在行业中引发了巨大的认知震动：如果 GPT-4 这个当时最强的模型用的是 MoE，那也许 MoE 才是正确的方向？

但也有很多人持怀疑态度。主要的质疑是：

  • 这只是传言，没有官方确认
  • MoE 训练不稳定的问题并没有被解决
  • 推理时的路由开销可能抵消 MoE 的效率优势
  • 专家之间的负载均衡很难做好，实际效率低于理论值

“MoE 是不是更好的架构”——在 2023 年，这个问题的答案是高度不确定的。

Mixtral：第一个令人信服的开源 MoE（2023.12）

2023 年 12 月，法国公司 Mistral 几乎没有预告地在 Hugging Face 上放出了一个模型权重的种子链接。这个模型就是 Mixtral 8x7B。

Mixtral 的结构是 8 个 70 亿参数的专家，每个 token 路由到 2 个专家，总参数约 467 亿，但每个 token 的激活参数只有约 130 亿。

结果令人印象深刻：Mixtral 在大多数 benchmark 上追平甚至超越了 Llama 2 70B——而后者的激活参数是它的 5 倍多。

Mixtral 第一次在开源世界里证明了：MoE 不只是理论上高效，在实际性能和成本上也确实是更好的选择。但怀疑的声音仍然存在：Mixtral 的专家数量少（8 个）、粒度粗，也许只是一个”恰好能工作”的特例？

DeepSeek MoE：从粗粒度到细粒度（2024.01）

2024 年 1 月，DeepSeek 发表了 DeepSeekMoE 论文，提出了两个关键创新：

第一，细粒度专家分割（Fine-Grained Expert Segmentation）。 与其用 8 个大专家，不如用 64 甚至 160 个小专家。比如，把传统 MoE 中的 1 个大专家（N 参数）拆成 m 个小专家（N/m 参数），同时相应增加每个 token 路由到的专家数。

为什么这样更好？因为更细粒度的专家允许更灵活的组合。想象你在点菜：传统 MoE 是从 8 道套餐里选 2 个套餐，DeepSeekMoE 是从 64 道单品里选 8 道——后者的组合空间大得多，更容易精确匹配每个输入的需求。

第二，共享专家隔离（Shared Expert Isolation）。 保留几个”共享专家”，对所有 token 始终激活。这些共享专家学习通用知识和能力（语法、常见推理模式），而路由专家专注于特定领域的专业知识。

这两个改进的效果是惊人的：DeepSeekMoE 16B（约 28 亿激活参数）在性能上接近 Llama 2 7B（70 亿激活参数），用不到一半的计算量达到了相近的效果。

DeepSeek V2 → V3：MoE 成为共识

2024 年 5 月的 DeepSeek V2 和 12 月的 DeepSeek V3，彻底终结了”MoE 是否可行”的争论。

DeepSeek V3 的配置是：总参数 6710 亿，256 个路由专家 + 1 个共享专家，每个 token 激活 8 个路由专家 + 1 个共享专家，激活参数约 370 亿。

关键突破不只是模型本身，还有工程上的稳定性：

  • 无辅助损失的负载均衡（Auxiliary-loss-free load balancing）： 传统 MoE 需要一个额外的损失函数来强制专家之间的负载均衡，但这个损失函数会损害模型性能。DeepSeek V3 用一种基于偏置项的动态调节方法取代了它——既保持了负载均衡，又不损害模型质量。
  • 14.8 万亿 token 的训练全程无不可恢复的 loss spike——在当时的 MoE 模型中，这种稳定性是前所未有的。

当 DeepSeek V3 用 557 万美元的训练成本达到了 GPT-4o 级别的性能时，行业的判断发生了根本性转变：

从 “MoE 也许可行” → “MoE 就是更好的架构”。

到 2025 年，新发布的大规模模型中，选择 Dense 架构的已经是少数。Qwen、Llama（MoE 变体）、DeepSeek、Mistral 的旗舰模型全部是 MoE。一年多前还被怀疑的架构，现在成了默认选择。

关键认知： MoE 的故事是技术采纳中”鸡与蛋”问题的经典案例。MoE 理论上更高效→但训练不稳定→所以没人大规模用→所以训练技巧不成熟→所以继续不稳定。打破这个循环的不是某篇论文的理论突破，而是 DeepSeek 用工程实力证明了”稳定训练大规模 MoE”是可以做到的。一旦被证明，所有人都跟了上来。

4.6 那些”小改动，大影响”

除了上述几个标志性的技术，还有一系列”小而关键”的改进，它们单独看不起眼，但组合在一起的效果是巨大的。

RMSNorm：去掉均值，一切变好

Transformer 原始设计使用 Layer Normalization（LayerNorm），计算每一层输出的均值和方差来做归一化。

2019 年的 RMSNorm（Root Mean Square Normalization）做了一个简单的修改：不计算均值，只用均方根来归一化。

数学上的差别极小。但效果上：训练更稳定、计算更快（少了求均值的步骤）、在大模型上的表现与 LayerNorm 相当甚至更好。

另外，LLaMA 还将归一化的位置从”每层之后”（Post-Norm）改成了”每层之前”（Pre-Norm）。Pre-Norm 让梯度流动更顺畅，大幅改善了深层模型的训练稳定性。

从 2023 年起，Pre-RMSNorm 成了几乎所有主流 LLM 的标配。

SwiGLU：激活函数的安静革命

Transformer 原始设计的前馈网络（FFN）使用 ReLU 激活函数。

2020 年，Google 的 Noam Shazeer（又是他）在论文”GLU Variants Improve Transformer”中测试了多种激活函数变体，发现 SwiGLU（Swish 激活 + 门控线性单元的组合）在几乎所有任务上都优于 ReLU 和 GELU。

SwiGLU 的代价是前馈网络的参数量略有增加（因为门控机制需要额外的投影矩阵），但带来的质量提升非常稳定。

Google 的 PaLM（2022）率先在大规模模型上采用了 SwiGLU。LLaMA（2023）跟进后，它成了行业标准。

FP8 混合精度训练：低精度的极限

传统大模型训练使用 FP32 或 BF16（Brain Floating Point 16）精度。更低的精度意味着更少的内存、更快的计算、更低的成本——但也意味着更大的数值误差风险。

FP8（8 位浮点）将精度进一步减半。理论上，这可以让训练速度翻倍、显存占用减半。但实际操作中，FP8 的数值范围极小，稍有不慎就会溢出或精度崩溃。

DeepSeek V3 是第一个成功将 FP8 用于大规模预训练全流程的模型。关键技巧包括：

  • 分块量化（Block-wise Quantization）： 不对整个张量统一量化，而是分成小块，每块有自己的缩放因子
  • 高精度累加： 矩阵乘法用 FP8，但累加器用 FP32，避免小数值在累加中被淹没

FP8 训练是 DeepSeek V3 成本只有 557 万美元的关键因素之一。它直接将同等规模训练的 GPU 时间减少了约 40%。

4.7 数据工程：被低估的胜负手

所有人都知道”数据很重要”。但大模型领域对数据工程的系统性重视，远远晚于对模型架构的关注。

从”越多越好”到”质量为王”

GPT-3（2020）的训练数据约 5000 亿 token，数据来源的筛选标准相对粗糙——Common Crawl 数据经过简单的去重和质量过滤后直接使用。

Chinchilla（2022）提出了”参数和数据等比例增长”的原则，但没有深入讨论数据质量。

转折点出现在 2023 年。 Meta 的 LIMA 论文用仅 1000 条精心挑选的 SFT 数据训练出了一个相当不错的聊天模型。Phi-1（微软）用精选的教科书级数据训练了一个只有 13 亿参数的模型，在编程任务上的表现超过了许多更大的模型。

这些工作传递了一个强烈信号：数据质量的杠杆效应远超数据数量。

数据工程的核心挑战

到 2024-2025 年，预训练数据工程已经发展成一个独立的技术领域，核心环节包括：

1. 去重（Deduplication）。 互联网上的内容存在大量重复——相同的新闻被多个网站转载，相同的代码片段出现在不同的仓库中。重复数据会让模型过拟合到这些内容，浪费训练资源。MinHash、SimHash 等近似去重算法成为标配。

2. 质量过滤（Quality Filtering）。 互联网数据中充斥着广告、垃圾内容、机器生成的 SEO 文本。高质量数据的筛选需要多层级的过滤器：语言检测、困惑度过滤、分类器打分、启发式规则。

3. 数据配比（Data Mixing）。 网页、书籍、论文、代码、对话——不同类型数据的比例如何分配？配比不当会导致模型偏科：代码数据太少则编程能力弱，维基百科太多则回答过于百科式。

4. 课程学习（Curriculum Learning）。 训练的不同阶段使用不同的数据。早期用大量多样化数据建立基础能力，后期用高质量数据精炼——这种思路在 DeepSeek V3 和 Llama 3 的训练中都有体现。DeepSeek V3 在预训练的最后阶段（annealing phase），切换到高质量数据来提升 benchmark 表现。

5. 合成数据。 用已有模型生成训练数据，是缓解数据瓶颈的重要手段。但合成数据有一个根本风险：如果模型在自己生成的数据上训练，可能会放大原有的偏差和错误，导致”模型退化”（model collapse）。如何在利用合成数据的同时避免退化，是 2025 年数据工程的核心研究课题。

关键认知： 架构创新获得了大部分的关注和荣誉，但数据工程可能是同等甚至更大的胜负手。两个使用相同架构的团队，训练出来的模型质量可能天差地别——差异往往来自数据处理的每一个细节。这个领域仍然高度依赖”know-how”和工程经验，缺少像 Scaling Laws 那样的统一理论框架。

4.8 后训练的进化：从”对齐”到”教会思考”

第二章讲了 RLHF 和 DPO 如何教会模型”听话”。但后训练技术的演进远不止于此。

从 PPO 到 GRPO：去掉 Critic 网络

RLHF 的标准算法是 PPO（Proximal Policy Optimization），它需要同时维护四个模型：

  1. Policy 模型（正在训练的语言模型）
  2. Reference 模型（初始模型的拷贝，用于 KL 散度约束）
  3. Reward 模型（打分模型）
  4. Critic 模型（价值估计网络，用于计算优势函数）

四个模型同时在 GPU 上运行，显存开销巨大，训练极其复杂。

2024 年 2 月，DeepSeek 在 DeepSeekMath 论文中提出了 GRPO（Group Relative Policy Optimization）：去掉 Critic 模型，用组内相对排序来替代价值估计。

具体做法是：对每个问题，让模型生成一组（比如 64 个）候选回答，根据奖励信号对它们排序，然后用组内的相对排名作为优势估计。排在前面的回答获得正向强化，排在后面的获得负向强化。

这个简化的效果远超预期：

  1. 显存减半——去掉了 Critic 网络
  2. 训练更稳定——不再依赖 Critic 网络的准确性
  3. 在数学推理任务上效果更好——DeepSeekMath 在多个数学 benchmark 上创造了新纪录

更重要的是，GRPO 就是后来训练 DeepSeek R1 的核心算法。 R1 能用纯 RL 涌现出推理能力，GRPO 的高效和稳定是关键前提——如果还在用 PPO 那套四模型架构，RL 训练的规模和持续时间可能根本无法支撑推理能力的涌现。

后训练技术的完整演进线

2022.01 InstructGPT → SFT + PPO/RLHF
  最初的"让模型听话"范式。有效但昂贵。

2023.05 DPO → 去掉 RL，用偏好数据直接优化
  学术界最爱。简单、便宜、易于复现。
  但被发现在数学/推理任务上不如 Online RL。

2024.02 GRPO → 去掉 Critic，组内相对优化
  DeepSeek 的关键创新。兼顾了 Online RL 的效果和 DPO 的简洁。

2025.01 R1 的纯 RL 训练 → 推理能力涌现
  后训练从"对齐人类偏好"进化到"教模型学会思考"。
  后训练不再只是微调，而是创造新能力。

这条演进线的本质是：后训练从一个”修饰”环节，变成了模型能力的核心来源之一。 R1 的推理能力不是在预训练中学到的，而是在后训练的 RL 阶段涌现出来的。这从根本上改变了我们对”预训练 vs 后训练”的理解——后训练不只是给预训练模型”上漆”，它可以创造全新的能力维度。

本章回顾：暗战中的关键技术

技术时间从争议到共识
RoPE2021 → 2023 成为标配从”又一个位置编码”到”百万上下文的基石”
Flash Attention2022 → 2023 行业标配从”一个工程优化”到”所有人都在用”
GQA2023 → 即刻采纳MHA 太贵、MQA 太损→GQA 成为折中最优解
MoE2021-2023 争议 → 2024 共识从”理论好但工程太难”到”就是更好的架构”
MLA2024 → 被广泛关注KV Cache 压缩的新范式，DeepSeek 的独家武器
GRPO2024 → R1 的核心算法从”PPO 的简化版”到”推理能力涌现的基础”
FP8 训练2024 → 逐步扩散从”太危险”到”DeepSeek V3 证明了可行”

如果这一章只需要记住一句话： 大模型的竞争不只是”谁的模型更大”或”谁的数据更多”——它同样是”谁的架构更高效”和”谁的工程更扎实”的竞争。这些不上头条的技术改良，累积起来的影响不亚于任何一次”重大突破”。