章节导航第 10 章 / 共 16 章

第 10 章第三部分：后训练与对齐

RLHF 与偏好对齐

从 RLHF 到 DPO 到 GRPO——让模型学会'什么该说什么不该说'

最后更新：2026年10月15日 RLHF DPO GRPO 对齐奖励模型 PPO 熵坍缩过程奖励

为什么 SFT 不够

SFT 教会模型”怎么回答问题”，但没有教会它区分好回答和坏回答。一个 SFT 模型可能会：

自信地输出错误信息（幻觉）
回答本应拒绝的有害请求
在多种合理回答中选择不够好的那个
给出正确但不友好的回复

偏好对齐（Preference Alignment） 的目标是：让模型的输出不仅”正确”，而且”好”——符合人类的价值观和偏好。

RLHF：经典框架

三阶段流程

InstructGPT（Ouyang et al., 2022）奠定了 RLHF 的经典三阶段框架：

阶段 1: SFT
  预训练模型 → SFT 模型（指令跟随）

阶段 2: 奖励模型训练 (RM)
  人类标注偏好对 → 训练奖励模型

阶段 3: RL 优化
  SFT 模型 + 奖励模型 → PPO 优化 → 对齐后的模型

阶段 2：奖励模型（Reward Model）

奖励模型的训练数据是偏好对（preference pair）：

Prompt: "解释量子纠缠"
Response A: "量子纠缠是两个粒子之间的量子关联，当测量其中一个..."  ← 人类选择更好
Response B: "量子纠缠很复杂，你可以上网搜索一下。"               ← 人类认为更差

给定 prompt $x$ 和两个回复 $y_w$ （preferred，更好的）和 $y_l$ （rejected，更差的），奖励模型的训练目标基于 Bradley-Terry 模型：

$\mathcal{L}_{\text{RM}} = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma\left( r_\phi(x, y_w) - r_\phi(x, y_l) \right) \right]$

其中 $r_\phi(x, y)$ 是奖励模型对 prompt $x$ 和回复 $y$ 的打分， $\sigma$ 是 sigmoid 函数。

直觉上，这个 loss 鼓励奖励模型给好回复打更高的分，给坏回复打更低的分。

奖励模型的架构通常与策略模型相同（去掉 LM head，加一个线性层输出标量分数）：

输入序列 → Transformer → [最后一个 token 的 hidden state] → Linear → scalar reward

阶段 3：PPO 优化

PPO（Proximal Policy Optimization）（Schulman et al., 2017）是 RLHF 中最常用的 RL 算法。优化目标：

$\max_\theta \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_\theta(\cdot|x)} \left[ r_\phi(x, y) - \beta \cdot D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}}) \right]$

两项的含义：

$r_\phi(x, y)$ ：奖励模型的评分，越高越好
$\beta \cdot D_{\text{KL}}$ ：KL 散度惩罚，防止策略模型偏离 SFT 模型太远

为什么需要 KL 惩罚？ 没有 KL 惩罚，模型会学会”奖励 hack”——找到奖励模型的漏洞，生成得分很高但实际质量很低的回复。比如不断重复某些高分词汇，或生成看似深奥实际无意义的文本。

PPO 的训练涉及四个模型同时在 GPU 上：

模型	作用	是否更新
策略模型 (Actor)	生成回复	是
价值模型 (Critic)	估计 state value	是
奖励模型 (RM)	打分	否（冻结）
参考模型 (Ref)	计算 KL 惩罚	否（冻结）

这意味着训练 PPO 的显存需求大约是 SFT 的 4 倍，这是 RLHF 落地困难的主要原因之一。

DPO：去掉奖励模型

DPO（Direct Preference Optimization）（Rafailov et al., 2023）是对 RLHF 的重大简化。核心思想是：可以跳过奖励模型训练和 RL 过程，直接用偏好数据优化策略模型。

⚠️ 等价性是有条件的，不是数学恒等式。 下面的推导默认 DPO 与 RLHF 的最优解一致，但这个等价依赖一个实践中常被违反的隐含假设（见 §DPO 的局限第 4 条）。在假设失效的场景里，DPO 优化的不再是”与人类偏好的绝对对齐”，而是”相对于参考策略的相对优势”。

数学推导

DPO 的关键洞察：RLHF 的最优策略有闭式解：

$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y|x) \exp\left(\frac{r(x, y)}{\beta}\right)$

将这个关系反转，可以用策略的概率来表达隐式的奖励：

$r(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x)$

代入 Bradley-Terry 偏好模型，配分函数 $Z(x)$ 消掉，得到 DPO loss：

$\mathcal{L}_{\text{DPO}} = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]$

DPO vs. RLHF 对比

维度	RLHF (PPO)	DPO
训练阶段	3 阶段（SFT → RM → RL）	2 阶段（SFT → DPO）
需要的模型	4 个（Actor + Critic + RM + Ref）	2 个（Policy + Ref）
GPU 显存	4x SFT	2x SFT
训练稳定性	不稳定（RL 固有问题）	非常稳定（普通梯度下降）
超参数敏感性	高（PPO clip, GAE λ 等）	低（主要是 β）
效果上限	可能更高（在线探索）	受限于离线数据质量
实现复杂度	高	低（几十行代码）

DPO 的局限

离线数据瓶颈：DPO 只能从已有的偏好对中学习，不能像 PPO 那样通过在线采样探索新的回复空间
过拟合风险：在小数据集上容易过拟合到特定的偏好模式
似然位移（likelihood displacement）：优化 $y_w$ 和 $y_l$ 的概率比时，可能导致两者的绝对概率同时下降

条件等价与病态收敛：DPO 与 RLHF 的等价性依赖一个隐含假设——RLHF 的最优策略本身必须偏好人类偏好的响应。这个假设在实践中常被违反。假设失效时，DPO 优化的目标从”与人类偏好的绝对对齐”退化为”相对参考策略的相对优势”，观测上表现为一种极具迷惑性的病态收敛：loss 持续下降，模型却越来越偏好被拒绝的响应。几何上，DPO 实现的是一种目标间隔可能为负的软间隔排序（soft margin ranking）——这正是病态收敛的来源。应对思路是CPO（Constrained Preference Optimization）：在 RLHF 目标上加显式约束，恢复可证明的对齐（arXiv:2605.20834，6 位作者）。

📌 待核实：该工作的 ICML 2026 收录信息未能在 arXiv abs 页 comments（仅 “49 pages”）与 HTML 全文（ICML 仅见于参考文献条目）中获得证实，引用时请勿当作已确认的会议论文。

DPO 变体家族

DPO 的简洁性催生了一大波变体：

IPO（Identity Preference Optimization）

IPO（Azar et al., 2023）指出 DPO 在偏好确定性很高时会过拟合，提出了正则化版本：

$\mathcal{L}_{\text{IPO}} = \mathbb{E} \left[ \left( \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} - \frac{1}{2\beta} \right)^2 \right]$

KTO（Kahneman-Tversky Optimization）

KTO（Ethayarajh et al., 2024）灵感来自前景理论——人类对损失比收益更敏感。它不需要成对的偏好数据，只需要单独标注每个回复是好是坏：

$\mathcal{L}_{\text{KTO}} = \mathbb{E}_{y_w} \left[ 1 - \sigma(\beta \cdot r_w) \right] + \lambda \cdot \mathbb{E}_{y_l} \left[ 1 - \sigma(-\beta \cdot r_l) \right]$

其中 $\lambda > 1$ 反映了”损失厌恶”。

SimPO（Simple Preference Optimization）

SimPO（Meng et al., 2024）更进一步——连参考模型都不需要了。用平均 log 概率作为隐式奖励：

$r_{\text{SimPO}}(x, y) = \frac{1}{|y|} \log \pi_\theta(y|x)$

这消除了参考模型的显存开销，训练速度更快。

ORPO（Odds Ratio Preference Optimization）

ORPO（Hong et al., 2024）将 SFT 和偏好对齐合并为一个训练阶段：

$\mathcal{L}_{\text{ORPO}} = \mathcal{L}_{\text{SFT}} + \lambda \cdot \mathcal{L}_{\text{OR}}$

Uni-DPO（Unified Dynamic-weighted DPO）

DPO 的一个隐含假设是所有偏好对同等重要——无论偏好对的质量差异多大、模型当前性能如何，每对数据都以相同权重参与训练。Uni-DPO 提出动态加权机制，从三个维度为每个偏好对分配权重：

质量感知权重：偏好对中 $y_w$ 和 $y_l$ 的质量差距越大，该对的信息量越低（模型已经能区分），权重越低
性能感知权重：根据模型当前在偏好对上的预测准确度动态调整——模型已正确区分的对权重降低，模型仍在犯错的对权重提高
校准 NLL：用校准后的负对数似然替代原始 log 概率比，缓解 DPO 中常见的似然位移问题

Uni-DPO 的损失函数：

$\mathcal{L}_{\text{Uni-DPO}} = -\mathbb{E}_{(x, y_w, y_l)} \left[ w(x, y_w, y_l) \cdot \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]$

其中 $w(x, y_w, y_l)$ 是由上述三个维度联合计算的动态权重。

GRPO：推理模型的对齐利器

GRPO（Group Relative Policy Optimization）（Shao et al., 2024，DeepSeek 团队）是专门为推理任务设计的对齐方法，在 DeepSeek-R1 中取得了显著效果。

核心思想

GRPO 不需要奖励模型，而是通过组内相对排序来计算奖励：

对每个 prompt $x$ ，采样一组回复 $\{y_1, y_2, ..., y_G\}$
用规则 verifier（如数学题正确性检查）为每个回复打分 $\{r_1, ..., r_G\}$
将奖励标准化： $\hat{r}_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$
用标准化后的奖励做策略梯度更新

$\mathcal{L}_{\text{GRPO}} = -\frac{1}{G} \sum_{i=1}^{G} \hat{r}_i \cdot \sum_{t=1}^{|y_i|} \log \pi_\theta(y_{i,t} | x, y_{i,<t})$

GRPO vs. PPO vs. DPO

特性	PPO	DPO	GRPO	DAPO	GSPO	RLVR
需要奖励模型	是	否	否	否	否	否
需要 Critic	是	否	否	否	否	否
数据方式	在线采样	离线偏好对	在线采样	在线采样	在线采样	在线采样
奖励信号	学习的 RM	隐式	规则 verifier	规则 verifier	规则 verifier	可验证奖励
采样策略	固定	—	固定组	动态过滤	序列级筛选	动态
裁剪粒度	Token	—	Token	Token（解耦）	序列	视实现
适用场景	通用（已少用）	非推理偏好微调	可验证任务	工业级推理 RL	工业级推理 RL	纯可验证任务
显存占用	4x	2x	1.5x	1.5x	1.5x	1x-1.5x

GRPO 特别适合数学和代码等有确定性验证器的任务——答案对就对，错就错，不需要模糊的人类偏好。

GRPO 的长 horizon 局限与 HGPO

GRPO 在短 horizon 的数学推理任务上表现优异，但在长 horizon Agent 任务中暴露出逐步上下文不一致（stepwise context inconsistency）问题。GRPO 对同一 prompt 采样一组回复后统一计算 advantage，隐含假设是：组内各回复处于”同一起跑线”。然而在多步 Agent 场景下（如多轮工具调用、多步代码调试），不同采样路径的步骤历史不同——第 $k$ 步的决策依赖前 $k-1$ 步的输出，导致同一 group 内各轨迹在中间步骤上实际面对不同的上下文。将 advantage 在不同上下文的步骤间直接比较，会引入系统性偏差，使策略梯度估计失效。

HGPO（Hierarchical Group Relative Policy Optimization）（ICLR 2026）提出层次化分组方案来解决这一问题：不再将整个轨迹作为一个扁平组，而是按步骤层级组织——同一 prompt 下的轨迹在每一步重新分组，确保同组内的步骤共享相同的上下文历史。在每一步内独立计算相对 advantage，避免跨上下文的错误比较。这一设计补全了 GRPO 从”短 horizon 数学题”到”长 horizon Agent 任务”的适用性边界。

DAPO：工业级 GRPO

GRPO 的核心思想简洁优雅，但直接部署到大规模训练中会遇到几个工程问题。DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）（清华 AIR + 字节跳动 SIA-Lab，2025）针对这些问题提出了四项关键改进：

1. Clip 解耦。 标准 PPO/GRPO 对正负方向使用相同的 clip 比例。但正向梯度（鼓励好回复）被过度截断会减慢学习。DAPO 将上下 clip 比例分开——正方向 clip 放宽，允许更大的策略更新幅度。

2. Dynamic Sampling。 如果一组采样中所有回复全对（accuracy=1）或全错（accuracy=0），这组数据没有梯度信号——全对意味着没有改进空间，全错意味着模型在当前能力范围外。DAPO 在训练时过滤掉这两类 prompt，只在有难度梯度的样本上训练。

3. Token-level Loss。 GRPO 默认使用序列级 loss——长序列和短序列的 loss 权重相同。这导致长回复被过度惩罚（因为长序列的 token 级概率乘积天然更小）。DAPO 改为 token 级 loss，每个 token 的梯度贡献独立计算。

4. Overlong Penalty。 训练中超长回复（超出最大长度被截断）的处理：直接丢弃会浪费算力，不处理则鼓励冗长。DAPO 对截断的回复施加软惩罚——标记为负奖励但仍参与训练。

实际效果：在 AIME 2024 上，GRPO 约 30%+ → DAPO 达到约 50%。DAPO 已被字节、Qwen 等多个团队在生产中使用，开源实现集成在 veRL 框架中。

GSPO：从 Token 级到序列级裁剪

DAPO 的第三项改进（token-level loss）解决了长序列惩罚问题，但 GSPO（Group Sequence Policy Optimization）（阿里 Qwen 团队，2025）从另一个角度审视了这个问题。

GSPO 的核心洞察：PPO/GRPO/DAPO 在 token 级做裁剪时，一个序列中可能只有部分 token 被 clip，其余 token 仍参与梯度计算。这导致”半截”序列——模型被部分推向某个方向，但这个方向信号是不完整的。

GSPO 的解决方案直截了当：在序列级做裁剪——整个序列要么全部参与训练，要么完全不参与。用序列级重要性采样比率（而非 token 级）决定是否 clip。

这种设计让训练更稳定：每个参与训练的序列都提供完整的梯度信号。在 MATH 和 AIME 上，GSPO 的表现超过 DAPO，并已应用于阿里的 Qwen3 系列模型。

熵坍缩的机理：token 级熵变四要素

本章此前多处用到”熵”——SRFT 拿它当动态指示器，CurioSFT 与 LP-SFT（见 Ch09）为保持它而设计。但熵为什么会坍缩、由什么决定，一直没有交代。Rethinking Entropy Interventions in RLVR（浙江大学 + 腾讯）补上了这块拼图。

该工作推导出每步更新的 token 级熵变闭式近似，指出熵变由四个要素共同决定：

裁剪策略（如 PPO/GRPO 的 clip 上下界）
advantage（该 token 被判定为好还是坏、幅度多大）
token 生成概率（当前策略给它的概率）
当前条件熵（该位置的策略本身有多不确定）

这个框架的价值在于它能解释为什么现有干预手段效果有限：Clip-Higher、Positive-Reweighting、Entropy-Aware Advantage 各自只动其中一两个要素，本质上是启发式的——而且实证显示这四象限的动力学在训练中是作为相互竞争的力同时存在的，只调一个象限，另一个象限的反作用会抵消掉收益。

据此提出的 STEER 按理论估计的熵变自适应给 token 降权，相当于一个”token 级限速器”：只对会造成剧烈熵变的极少数 token 降权，多数 token 的权重仍接近 1，因此不牺牲正常的学习信号。

场景	基线	STEER
Qwen2.5-Math-7B，6 个数学基准平均	GRPO 44.2	48.6
Qwen2.5-Coder-14B，内部代码编辑集	GRPO 42.6	45.1
Qwen2.5-Coder-14B，LiveCodeBench v5	GRPO 29.3	31.8

收益在跨模型（Qwen / Llama / Mistral）与跨算法（GRPO / RLOO / OPO）上一致。放到 Ch09 的谱系里看，CurioSFT 作用于输出分布层、SRFT 作用于 SFT+RL 统合层、LP-SFT 作用于 token 局部偏好层、TrimSFT 作用于 token 置信度层，STEER 则是优化动力学层——第五种粒度。

在讨论”熵怎么变”之前，先要区分”哪部分熵该变”。 熵正则化在 LLM-RL 中效果有限（对系数高度敏感、会引入语义上无信息的不确定性、精度收益微弱），一个被忽视的原因是：并非所有熵都是好的。AsymGRPO（NC State + Case Western，2026-04）把 GRPO 的优势估计拆成正样本与负样本两条通道，据此把策略熵概念性地分解为 productive entropy（承载成功解题路径的那部分）与 noisy entropy（来自失败 rollout、干扰正确路径的那部分）：正样本通道的调制抬升前者，负样本通道的调制抑制后者。结论是：有效探索需要的是熵精炼而非熵最大化——在正样本上维持，在负样本上抑制。

关键在于，这个机制其实隐式嵌在 group-relative advantage 估计中——组内标准化天然做了某种形式的精炼。AsymGRPO 的贡献是把它显式解耦：独立调制正负两侧，从而分别控制”保留”与”抑制”。这与上面的四要素框架是互补的：四要素解释熵怎么变，productive/noisy 解释哪部分熵该变。

还有一层更上游：rollout 是怎么生成的。 上面五种粒度——CurioSFT 的输出分布层、SRFT 的统合层、LP-SFT 的 token 局部偏好层、TrimSFT 的 token 置信度层、STEER 的优化动力学层，加上 AsymGRPO 的”哪部分熵该变”——全部作用在”给定 rollout 之后怎么更新”。但组的质量在 rollout 生成时就已经定了。

RLVR 每 prompt 的 rollout 组很小，同一策略反复采样会得到高度相似的轨迹，组内奖励方差因此变小，group-relative advantage 信号被削弱。现有补救——提高采样温度、熵奖励、非对称裁剪、加大 rollout 预算——都在”拓宽采样”或”改更新”，没有一条改变 rollout 的 conditioning。

EDEN（arXiv:2610.16105，2026-10）直接在滚出源头介入：在同样的 rollout 预算内，把组内一小部分标准 rollout 换成”由同一策略从『prompt + 一个追加的、被扰动的 embedding 位置』生成”的 rollout，而不是只从 prompt 生成。高斯噪声驱动多样性，共享锚点给组内提供共同的 conditioning 方向。被选中的扰动 rollout 以降权后的 advantage 参与 GRPO 更新，模型架构、离散解码、测试时推理全部不变。

跨模型规模与数学推理基准上，它优于 GRPO 及同管线内的探索对照，增益最大的是”采样解覆盖率”；分析显示更多 prompt 组能拿到非零的 group-relative 学习信号，且噪声与锚定是互补的两件事。

🔑 定位句：前五种粒度改的是”熵怎么变 / 哪部分熵该变”，EDEN 改的是”组里那几条轨迹是从什么 conditioning 采样出来的”——第六种粒度，rollout conditioning 层。它不与前面的方法竞争，因为它完全不动更新规则，可以和 STEER / AsymGRPO 叠加。

⚠️ 成熟度提示：单篇预印本，无独立复现；“降权 advantage”的降权系数如何选取，摘要未说明；收益主要体现在覆盖率而非准确率——只盯准确率的读者会低估它的价值，也会高估它的适用范围。

从 SFT 侧看同一个问题：过训练会在 RL 阶段引发”排名反转”

上面讨论的是 RL 阶段内部的熵动力学，但熵的问题在更早的 SFT 阶段就已经埋下了，而且会以一种极具迷惑性的方式暴露。代码生成的标准配方是”先 SFT 再 RLVR”，实践中默认挑 SFT 阶段 pass@1 最高的检查点喂给 RL。arXiv:2606.18487（ICML 2026 DL4C Workshop）发现这条规则会系统性翻车：SFT 训得越久 pass@1 越高，GRPO 之后的 pass@10 反而单调下跌（0.806 → 0.481，Qwen2.5-Coder-3B、3 seed 均值、 $n{=}20$ ）。根因正是本节的主题——过度 SFT 压扁了输出分布，使 GRPO 的组内 advantage 方差归零、梯度消失。

论文把机制写成了闭式：二元奖励下组内 advantage 方差的期望是 $p(1-p)(g-1)/g$ ，一旦早期 GRPO 把 $p$ 压到闭式阈值 $p^*(g)$ 以下，多数组的奖励完全相同，组相对信号为零。对 DeepSeek-Coder-6.7B，pass@1 始终远高于 $p^*(8)=0.083$ ，结果是被压缩而非反转——阈值是模型与组大小相关的，不是常数。

更深一层的机制是温度错位：贪心 pass@1（ $T=0$ ）测的是”能力天花板”，而 GRPO 在 $T=1.0$ 下采样工作。SFT 越深，pass@1 越高而 $T=1.0$ 下的熵越低，两者朝相反方向走——于是”选 pass@1 最高”恰好选中了多样性最差、最容易在 GRPO 早期触发梯度消失的那个检查点。这也解释了为什么聚合指标做不了单点诊断：两个 pass@64 完全相同的检查点，可能携带截然不同的熵分布。（该研究中 RL 前熵与 GRPO 结果的相关系数为 $\rho=+0.69$ 。）

作者给出一套两阶段诊断——① RL 前的熵筛查 ② GRPO 早期的熵监控——用于提前揪出高危检查点。工程含义很直接：挑检查点时不能只盯 pass@1，采样温度下的熵必须一起看。 该研究还试了 KL 到参考的正则化与 label smoothing 变体，两者都没能救回已坍缩的 Qwen 检查点，说明这不是一个 GRPO 超参能调回来的问题。

这条把 Ch09 的”SFT 后保留多样性有利于后续 RL”（SRFT / CurioSFT / LP-SFT）与本节的”熵坍缩四要素”连成了一条定量链条：Ch09 讲的是怎么保留，本节讲的是为什么必须保留，而 2606.18487 给出了保留到什么程度会出问题的阈值。

📌 待核实：该论文被标注为 ACL 2026 Outstanding Paper，但 arXiv abs 页 comments 为空、v4 全文（112,960 字符）中亦无 “ACL” 或 “Outstanding” 字样，奖项信息未能回源确认。方法本身与上述数字均已逐条核实。

RLVR 的已知失败模式与校正

GRPO 及其变体在 2024-2025 年取得了显著成功，但大规模部署中逐渐暴露出四个根本性的失败模式。2026 年 H1，对齐研究进入”二阶修正”周期——不再提出全新算法，而是诊断已有方法的深层缺陷并提供校正方案。

Calibration 崩溃 → DCPO。 DCPO（Decoupled Calibration Policy Optimization）（Ma et al., ICML 2026）首次从理论上证明：RLVR 训练中 reward hacking 与 calibration 崩溃共享同一个梯度冲突根源。Policy improvement 和 calibration maintenance 的梯度方向存在系统性冲突——GRPO/RLVR 优化前者时必然损害后者。DCPO 的解法是解耦校准策略：将 reward 信号和 calibration 信号分配到独立的梯度通道，互不干扰。在多个 RLVR 基准上，ECE（期望校准误差）平均下降 71.6%，同时准确率提升 3.3pp。方法不修改 reward 函数或环境，纯优化器层面的干预。

零奖励学习悬崖 → OC-GRPO。 当 GRPO 面对超难问题时，模型生成的所有答案均得零奖励，策略梯度为零——模型陷入”学习悬崖”，完全无法从零奖励中提取改进信号。OC-GRPO（Off-Context GRPO）（Agrawal et al., Meta AI/Columbia, 2026-07）的解决方案是引入特权信息训练：训练时允许模型访问 ground-truth 答案作为上下文生成高质量 rollout，再对无特权版本的目标函数应用重要性采样校正以消除分布失配。在多个数学推理基准上，OC-GRPO 比标准 GRPO 平均提升 3.9pp 绝对准确率（13.8% 相对增益），几乎不增加额外训练成本。

偏好标注噪声 → RGPO。 章节 §10.5 讨论了偏好数据质量问题（标注不一致），但将解决方案限定在”数据构建阶段”。RGPO（Reliability-Guided Preference Optimization）（Huang et al., ICML 2026）将这一问题前移到优化阶段：基于标注者间一致性估计每个偏好对的可靠性分数，在 DPO 损失中对低可靠性样本施加自适应正则化——不增加额外标注成本，用算法而非人工来纠正偏好噪声。在混合质量偏好数据集上，RGPO 比标准 DPO 在 AlpacaEval 2 上提升 4.7% 胜率。

虚假优势 → SignBalance。 GRPO 用组内统计量给每条 rollout 赋 advantage 幅值，而这个估计器无法区分”推理得到正确答案”与”猜中正确答案”——两者拿到同样的幅值。三类场景受害最重：一是有界答案任务（ $k$ 选一时随机命中概率就有 $1/k$ ，一条纯幻觉的推理链也能拿满正向 advantage）；二是含有限子情形的开放答案集（例如 MATH-7.5K 中 55.95% 的题目其实是数值或类别型的短答案，整个语料远非”开放”）；三是按最终结果打分的搜索 Agent（动作预算越大越容易蒙对，于是策略学到的是冗余无效的工具调用）。三种情况的共同后果是策略被推向”猜”而不是”推”。 SignBalance（RIT + Adobe Research，2026-09）的解法是把 advantage 幅值与组内构成解耦：保留验证器给出的符号，用全局缩放替代组内标准化，再通过 stop-gradient 的逐类重标定恢复零均值，不引入额外算力开销。在开放答案数学上与 GRPO 持平，在有界答案数学与搜索 Agent 上更优。

这四个校正方案的共同特征是将问题从”数据/环境设计”层面前移到”优化动力学”层面——DCPO 诊断梯度冲突、OC-GRPO 修复零梯度失效、RGPO 用权重软纠正噪声、SignBalance 修正 advantage 估计器本身对组内构成的依赖。这标志着对齐优化从”what works”迈向”why it works / why it fails”。

过程导向偏好对齐：TCR

当前 RLVR 和 DPO 的共同缺陷是结果导向——仅奖励最终答案的正确性。然而对于推理任务，模型可能在推理链的前几步就已出错但自信地输出错误答案。TCR（Thinking Checklist Reward）（Liu et al., 2026-07）提出在推理链中插入检查点奖励：(1) 将推理过程分解为语义步骤；(2) 为每个步骤定义”检查标准”（如”是否陈述了假设""是否验证了中间结果”）；(3) 将稀疏的最终奖励转化为密集的过程清单奖励。在数学推理任务上，TCR 训练的模型不仅答案正确率提升，推理链的自验证能力也显著增强——更少”自信地犯错”。TCR 从”训练一个 PRM”的昂贵路线，转向”定义检查标准清单”的轻量路线，桥接了 RLVR 与过程监督之间的空白。

第三条路线：GAR（Gradient-Aligned Reward）。 既不训练 PRM，也不人工定义清单，而是直接在策略自身的梯度空间里衡量轨迹质量：对输出投影层做截断反传，取出每条 rollout 的紧凑梯度向量，与”专家锚点梯度”算余弦相似度作为密集奖励，额外墙钟开销 <9%。作者还证明该余弦可乘性分解为预测误差项与激活模式项，为这个方法提供了理论依据。在 Qwen3-4B/8B 上，竞赛级数学基准稳定超过 GRPO 等基线，且无需域内数据即可迁移到 GPQA Diamond 与 MMLU-Pro（arXiv:2609.03342，2026-09 预印本）。

先把缺陷说得更准一点。 上面把问题写成”结果导向——仅奖励最终答案的正确性”，这只是问题的一半。可验证的结果奖励对推理质量的不完美度量有两层：

只给终点（稀疏）——一条几十步的推理只有一个标签；
且与推理质量错配（有偏）——最终答案正确，推理链可能并不支持它；而一条最终答错的 rollout，推理轨迹可能几乎是对的。

本章前面三条路线处理的都是第 1 层：把奖励变密。第 2 层此前没有对应方案。

第四条路线：重估计奖励（Double-Rollout）。 arXiv:2610.16593（NVIDIA，2026-10）先给出了上面那个错配的实证证据，并假设由此产生的奖励噪声正是 RL 在”推理准确率”与”token 效率”两方面都不稳定的来源。它的做法完全不构造密集奖励：对每条采样 rollout 截断其推理轨迹，从截断前缀采样多条续写，用续写奖励的均值替换原始奖励——得到一个方差更低、更稳健的推理质量估计。开销只是”中等增加”。

效果上最值得引的一例：只用 DAPO 数据，训练 Nemotron-3-Nano-30B-A3B 在 AIME 2026 上达 95.4%，GRPO 为 91.5%，且在 30 个 RL step 内完成；配合长度奖励还能进一步改善准确率-效率的 Pareto 前沿。

⚠️ 写作与引用纪律：95.4% 是厂商（NVIDIA）自评、且用的是自家 Nemotron 模型；“远高于该模型规模的 SOTA”是作者措辞。单篇预印本，无独立复现。请按”论文报告”对待，不要当作该规模下的既定 SOTA。

四条路线的取舍是二维的，不是一维的：

路线	改的是奖励的什么	成本
PRM	密度（把奖励变密）	训一个奖励模型，最贵
TCR	密度	人工定义检查清单
GAR	密度	额外反传，墙钟 <9%
Double-Rollout	准确度（把同一个稀疏奖励估计得更准）	多采几次续写，中等增加

第一条要问自己的问题是：你要改的是奖励的”密度”还是”准确度”？ 两者不互斥，但诊断方向不同——如果模型已经能答对但 RL 迟迟不稳定，问题可能不在稀疏而在有偏。

⚠️ 成熟度提示：本节四条路线中，Double-Rollout 与 GAR 均为 2026 年下半年的预印本，均无独立复现。

同议题的另两条取法（各取一句定位，便于对照）：

HarA（arXiv:2610.04344，2026-10）：group-based RLVR 把同一 advantage 均匀赋给同结果 rollout 的所有 token，现有改进用局部信号（token 位置、熵）重加权，抓不住”某个推理行为相对当前策略的全局语义新颖性”。它把每条 rollout 表示成 token 隐状态与位置的分布，对同结果的所有 rollout 求 Fused Gromov-Wasserstein 重心，用各推理元素对”rollout → 重心”FGW 距离的贡献度量新颖性，再重加权 token 级 advantage；FGW 用 anchor-guided 线性化转成可用 Sinkhorn 求解的 Wasserstein。plug-and-play，在三种 group-based RLVR 方法上均有效。
Residual Advantage（arXiv:2610.11519，2026-10）：把师生概率残差当作有界的一步奖励，减去学生策略下的状态价值构成标准 advantage，并在每条响应内做中心化再加到 verifier advantage 上。关键设计是那个中心化——指导项在响应内零均值，verifier advantage 仍是该响应的均值标签，教师只重新分配步与步之间的信用。这正是它相对普通 on-policy 蒸馏的区别：普通蒸馏会整体放大教师的影响。Qwen3-1.7B/4B-Base 学生 + Qwen3-8B 教师，三个数学基准 24 项比较全胜，Avg@8 +1.7–3.6 分、Pass@8 +3.9–6.3 分。

🔑 给读者的判断提示：HarA 与 GAR 都在”怎么衡量一条轨迹比另一条更有价值”上做文章，但参照系不同——GAR 参照专家锚点梯度（需要专家），HarA 参照组内重心（不需要）。选哪个取决于你手上有没有可用的专家轨迹。

⚠️ HarA 的 FGW 计算开销在摘要中未量化，请勿默认它便宜；Residual Advantage 的 24 项比较集中在数学基准与 Qwen 系模型。两篇均为单篇预印本，无独立复现。

偏好数据工程

数据收集方式

方式	优点	缺点	代表
人工标注	质量最高	成本高、速度慢	InstructGPT
AI 标注	低成本、快速	可能继承偏见	Constitutional AI
AI 生成 + 人工审核	平衡成本和质量	人工审核仍是瓶颈	LLaMA 2
模型自采样 + 规则验证	无需标注	限于可验证任务	GRPO / RLVR

Constitutional AI（RLAIF）

Constitutional AI（Bai et al., 2022，Anthropic）用 AI 自身来替代人类标注偏好：

定义一组”宪法原则”（如”回复应该无害”、“应该诚实”）
让模型根据宪法原则对回复做自我批判和修改
让另一个模型根据宪法原则在两个回复中选择更好的
用 AI 偏好数据训练奖励模型（RLAIF）

这种方法的核心优势是可扩展性——不依赖人类标注员的速度限制。

开源偏好数据集

数据集	规模	来源
HH-RLHF	170K	Anthropic 人工标注
UltraFeedback	64K	GPT-4 多维评分
Nectar	183K	7 个模型对比
Chatbot Arena	33K+	真实用户盲评
Skywork Reward	80K	高质量多维偏好

对齐的挑战与前沿

Reward Hacking（奖励 Hack）

模型可能找到奖励模型的漏洞，生成高分但低质的回复。常见模式：

冗长偏见：更长的回复往往得分更高，模型学会”凑字数”
格式偏见：使用 Markdown 列表和加粗会提高分数
逢迎偏见：同意用户的说法（即使是错的）得分更高

对策：

多奖励模型集成
奖励模型定期刷新
长度归一化

Alignment Tax（对齐税）

对齐过程可能损害模型的基础能力。典型表现：

过度拒绝无害请求（“我无法帮助…”）
知识类任务性能下降
创造力和多样性降低

迭代对齐

一次对齐往往不够。工业界通常采用迭代流程：

SFT → DPO/RLHF → 收集新偏好数据 → 再次 DPO/RLHF → ...

每一轮使用当前模型采样新的回复，收集新的偏好标注，持续改进。LLaMA 3 的技术报告中详细描述了他们的多轮迭代流程。

2025-2026 前沿：推理模型与可验证奖励 RL

后训练五代演进

回顾过去四年，后训练技术走过了清晰的五代演进——每一代都做了一次”减法”，去掉一个外部依赖：

世代	代表方法	年份	关键”减法”	需要的外部组件
第一代	PPO (RLHF)	2022	—	RM + Critic + Ref + 人工标注
第二代	DPO	2023	去掉 Critic 和 RM	Ref + 离线偏好对
第三代	GRPO	2024	去掉参考模型依赖（KL 松弛）	规则 verifier
第四代	DAPO / GSPO	2025	去掉静态采样假设	规则 verifier
第五代	RLVR / 自博弈	2026	去掉人工标注	纯可验证奖励

这条演进线揭示了一个趋势：后训练正在从”人类密集监督”走向”自动化验证驱动”。当一个任务的正确性可以被程序验证时（数学、代码、形式逻辑），整条后训练流水线可以完全无人介入地运转。

五代演进的”减法”叙事之外，还存在一条正交的”统一”线索：DAR（Dual-regularized Advantage Regression）（ICLR 2026，悉尼大学 + UNSW）从 RLHF 的统一视角出发，揭示了参考模型正则化与策略稳定约束之间的深层冲突——前者要求策略不偏离参考模型太远，后者要求策略更新幅度可控。PPO 通过 KL 惩罚 + clip 隐式处理这一冲突，GRPO 通过组内标准化绕过参考模型，而 DAR 将两者显式解耦为双正则化项，提供了 PPO/GRPO 之外的第三条路径。

DAR 不是做”减法”去掉某个组件，而是把两个约束统一进同一个目标，并进一步把 RL 目标改写成加权回归——消融实验显示，正是这个回归变换（而非双 KL 目标本身）带来了最终性能与训练稳定性的优势：直接做 RL 版的双 KL 变体（DAO、Dual-PPO）仍然不稳定。

其中值得单独强调的是它的形式。定理 4.2 给出双 KL 目标下的闭式最优策略：

$\pi^*(y|x) = \frac{1}{Z(x)}\,\pi_0(y|x)^{\alpha}\,\pi_t(y|x)^{1-\alpha}\,\exp\!\Big(\frac{1}{\beta}A(x,y)\Big)$

最小化 $\mathrm{KL}(\pi_\theta\|\pi^*)$ 后得到的 DAR 目标是一个加权 SFT 损失——权重是”正则化权重” $(\pi_0/\pi_t)^\alpha$ 与”优势权重” $\exp(A/\beta)$ 的乘积（实践中对乘积做 clip 防梯度爆炸）。也就是说，DAR 是一个 RL-free 算法：它不需要 PPO 的策略比率估计，实现复杂度接近 SFT。效果上，三项对齐任务平均参考胜率 92.42%，比 GRPO（85.15%）高 7.27 个百分点，且相对 DAP 类方法约一半标注量即可收敛。

⚠️ 局限：DAR 依赖在线数据采集，不适用于纯离线 RLHF 设置。 $\alpha$ 是保守/探索的旋钮（ $\alpha\to1$ 贴近初始模型， $\alpha\to0$ 贴近当前策略），消融显示结果对 $\alpha$ 、 $\beta$ 与采样数 $N$ 是稳健的。

对齐技术在 2025-2026 年经历了一次范式跃迁——基于可验证奖励的强化学习（RL with Verifiable Rewards） 成为训练推理模型的核心方法。

DeepSeek R1 的突破

DeepSeek R1 证明了一个惊人的发现：纯 RL 训练（无 SFT）就能让模型学会深度推理。在数学和代码等有客观答案的领域，模型通过 GRPO 自发学会了反思、回溯和自我纠错等推理行为。

关键技术要素：

可验证奖励：数学题有标准答案、代码有测试用例——奖励信号无需人工标注
GRPO 变体：组内采样多个回复，用正确率作为奖励信号，无需训练独立的奖励模型
推理 token 的自然涌现：模型自动学会了”让我再想想”、“这个方向不对，换一个思路”等推理策略

RLVR 的验证器扩展

DeepSeek R1 之后，可验证奖励的范围迅速从数学/代码扩展到更多领域：

验证器类型	场景	验证方式	成熟度
数学验证器	数学推理	标准答案比对	生产就绪
单元测试	代码生成	执行测试用例	生产就绪
形式化证明	定理证明	Lean/Isabelle 验证	早期探索
搜索验证	Agent 场景	工具调用结果校验	早期探索
多轮交互验证	Agent 对话	任务完成度判定	早期探索

值得关注的是 ARPO（Agentic Reinforced Policy Optimization）（ICLR 2026）——它将强化学习扩展到多轮 Agent 交互场景。ARPO 利用熵驱动的自适应 rollout，在多轮工具调用中进行细粒度探索，仅用一半的工具调用预算即可达到更优性能。这标志着 RL 后训练从单轮问答走向复杂的序贯决策。

从对齐到能力提升

传统对齐（RLHF/DPO）的目标是不改变能力、只改变行为。但推理 RL 模糊了这条边界：

维度	传统对齐	推理 RL
目标	行为对齐（有用+安全+诚实）	能力提升（推理更深、更准）
奖励信号	人类偏好 / 奖励模型	客观答案 / 验证器
训练范式	PPO / DPO	GRPO / REINFORCE
模型变化	输出风格调整	推理能力质变

🔗 与第九章的联动（同轮改）：本表的二分容易读成”SFT 只改行为、只有 RL 能提能力”。第九章 §SFT 与 RL 的关系已补入反例（arXiv:2610.02140）：用 MCMC 把 off-policy 数据渐进改造成更 on-policy 之后，SFT 在科学技能习得、数学推理、开放式专长上能与主流后训练方法打平，且常常泛化更好、遗忘更少。

两处合起来的准确说法是：“改行为 vs 提能力”不是方法（SFT / RL）的属性，而是”数据分布与当前策略是否匹配”的结果。SFT 之所以常被认为只改行为，是因为它常吃的是与当前策略不匹配的 off-policy 数据；把分布改对之后，这条边界会移动。

因此本表应读作两种典型配置的对比，而非 SFT 与 RL 两种目标函数的本质分野。

新的训练流水线

2026 年的典型后训练流程已经从三阶段扩展为四阶段：

SFT（格式对齐）
  → 推理 RL（能力提升，可验证奖励）
  → 偏好对齐（DPO/RLHF，人类偏好）
  → 安全对齐（红队测试 + 约束微调）

其中推理 RL 和偏好对齐的顺序很关键——先提升能力，再对齐偏好。

📌 一条跨阶段的提醒（本书推论，非引用）：如果推理 RL 阶段用的是”最终答案对错”这类二元奖励，那么 §过程导向偏好对齐里讨论的”奖励与推理质量错配”会一路传导到后续阶段——因为偏好对齐阶段拿到的偏好数据，是由一个被有偏奖励优化过的策略采样出来的。“过程监督不只是准确率问题”这个判断，在这条流水线上有了一个更硬的理由：RL 阶段的奖励偏差不会停在该阶段，它会变成下游偏好数据的采样分布偏差。PRISM 的研究证明，中训练对 RL 成功至关重要：直接对未经中训练的基座模型做 RL，效果接近零。

RLVR 的统一理论视角

2026 年 H1，RLVR 领域出现了一条与”做减法”正交的”统一”线索。f-GRPO（Haldar et al., Purdue, 2026-02）将 GRPO、DAPO 等 RLVR 变体统一表达为 f-divergence 约束下的策略优化特例，使得各方法的收敛性和偏差-方差权衡可以在统一数学语言下分析，而非各自独立的经验对比。与此同时，ISO（Isospectral Optimization）（Zhu et al., UT Austin+, 2026-07）提出 RLVR 的优化层存在谱继承（spectral inheritance）现象——RLVR 训练几乎不改变基座模型的权重奇异值谱，新能力主要通过改变权重的输入/输出方向框架获得。ISO 将这一规律操作化为”继承谱、优化框架”的固定谱优化栈，在 Qwen3-8B 上用 2.7× 更少训练步数达到同等准确率。两者共同指向：RLVR 的下一个突破可能不在”新算法”，而在”对已有算法的更深层理论理解”。

第三条统一线索，而且是唯一给出闭式超参的一条。 前面两条都是”统一表述”，都不产出可直接算出来的超参。2026 年还有一类方法等着被统一：外部指导。LUFFY、ExPO、PAPO、TAPO 都在给 RL 加外部指导（专家轨迹、自我解释、检索到的思维模式），各自报告增益，但没有一家给出收敛率、偏差界或最优加权规则。

GA-GRPO（arXiv:2610.06861）把外部指导建模为一个随机指导算子 $G$ （改写问题分布），把所得策略梯度估计器分析为一个有偏的 on-policy 估计器，其偏差由”指导增强采样分布”与”策略自身分布”之间的总变差散度 $\delta_G$ 界定。vanilla GRPO、LUFFY、ExPO、PAPO、TAPO 都是 $G$ 的特定取法下的特例。在此框架下有三个可引用的结论：

在光滑性与有界散度假设下，收敛率 $O(1/\sqrt{T})$ ，收敛到 GRPO 驻点的 $O(\delta\sqrt{T})$ -邻域；
闭式 MSE 最优指导权重：

$\lambda^*(T,\delta,\sigma_0^2) = \frac{\sigma_0^2}{\sigma_0^2 + R_{\max}^2 \delta^2 T}$

以及匹配的 minimax 下界—— $\Omega(\delta^2 T)$ 的偏差项不可避免。

💡 这条对读者的实际价值： $\lambda^*$ 把”外部指导该给多大权重”从一个只能网格搜索的问题变成了可计算的问题。而它的形式里最反直觉、也最有用的一点是：最优权重应当随训练步数 $T$ 递减。指导在早期有用、在后期应当逐步撤掉——这与”指导越强越好”的直觉相反。实验上，最优权重版的 GA-GRPO 在 Qwen2.5-Math-7B-Base、9 个数学与 OOD 基准上不劣于或优于 TAPO / LUFFY / ExPO / vanilla GRPO，且少用 31% GPU 小时。

⚠️ 编号异常，引用时须注明：该编号的 YYMM 是 2610，但 arXiv abs 页的 Submission history 与 citation_date 均为 [v1] 2026-07-08。按本书纪律（arXiv 编号的 YYMM 不等于提交月份，提交日只认 abs 页的 [v1]），引用日期以 2026-07-08 为准，并请注意不要把它与真正的 10 月工作混排。编号与日期不符的原因未查明。

⚠️ 成熟度提示：单篇预印本，无会议收录信息；实验为单一基座（Qwen2.5-Math-7B-Base）。

章节小结

方法	核心思路	适用场景	2026 现状
RLHF (PPO)	训练 RM → RL 优化	预算充足、追求极致	已较少直接使用
DPO	直接优化偏好概率	通用场景、快速迭代	非推理场景偏好微调；等价性有条件，见 §DPO 的局限
GRPO	组内相对排序 + 规则验证	数学/代码等可验证任务	被 DAPO/GSPO 继承；advantage 存在虚假优势（SignBalance 修正）
DAPO	GRPO + 四项工程改进	工业级推理 RL 训练	字节/Qwen 等生产使用
GSPO	序列级裁剪 + 完整梯度信号	工业级推理 RL 训练	阿里 Qwen3 系列使用
RLVR	纯可验证奖励、无需人工标注	数学/代码/Agent 可验证场景	后训练主流范式
KTO	非配对数据 + 前景理论	只有好/坏标签的场景	特定场景使用
SimPO	无参考模型	显存受限	轻量微调场景
ORPO	SFT + 对齐一步完成	极简流程	轻量微调场景
Uni-DPO	动态加权偏好对（质量+性能+校准）	DPO 过拟合或数据质量不均	DPO 增强场景

对齐是一个活跃的研究领域，新方法层出不穷。但核心原则不变：让模型的输出既有能力（helpful），又安全（harmless），还诚实（honest）。而五代演进的趋势清晰表明——后训练正在从依赖人类标注走向自动化验证驱动。