精读：GFlowRL——分布匹配 RL 的规模化突破

1 论文概览

一句话总结：GFlowRL 证明 GFlowNet 风格 RL 中被视为核心组件的学习配分函数网络不仅不必要反而有害，用批次内蒙特卡洛估计替代后，首次在 Dense 和 MoE 架构上实现稳定扩展，14B 模型 Codeforces 评分 2048 接近 o3-mini。

核心问题：GFlowNet 通过匹配奖励分布（而非最大化期望奖励）来鼓励多样化推理路径，理论上比 GRPO/PPO 等奖励最大化方法更适合后训练。但当前最先进的 GFlowNet 风格 RL 方法 FlowRL 在规模化时严重不稳定——梯度爆炸（范数达 10^16）、MoE 架构完全发散、噪声奖励场景崩溃。GFlowNet 风格 RL 能否在 LLM 后训练中真正规模化？

主要贡献：

1. 诊断根因：通过系统性分析揭示 FlowRL 不稳定的根源是学习到的配分函数 $Z_\phi$——它从随机初始化开始学习，与预训练策略的学习时间严重不匹配；替换为随机噪声竟不影响性能，证明 $Z_\phi$ 从未提供有效学习信号
2. GFlowRL 算法：移除辅助配分函数网络，用批次内蒙特卡洛估计 $\mathcal{Z}_t$ 替代；配合重要性采样修正（off-policy drift）和非对称流间隙裁剪（outlier residual）两个稳定器
3. 首个 MoE 稳定扩展：GFlowRL 在 Qwen3-30B-A3B 和 Qwen3-235B-A22B 上稳定训练，而 FlowRL 在两个规模上均完全发散
4. 14B 接近 o3-mini：GFlowRL-14B 在 Codeforces 达 2048 Elo，仅落后 o3-mini（2073）25 分，超越 o1（1891）157 分
5. 解多样性 3.2× GRPO：分布匹配目标使 GFlowRL 的解多样性评分（3.93）远超 GRPO（1.21）和 PPO（1.15），从根源上缓解模式坍缩

2 方法详解

架构/方法概述

GFlowRL 的设计哲学是”最小化必要组件”——保留 GFlowNet 分布匹配的理论目标，但移除阻碍规模化的工程包袱。

原始 FlowRL 的轨迹平衡（TB）损失：

$\mathcal{L}_{\text{TB}} = \left( \log Z_{\phi}(\mathbf{x}) + \log\frac{\pi_{\theta}(\mathbf{y}\mid\mathbf{x})}{\pi_{\text{ref}}(\mathbf{y}\mid\mathbf{x})} - \beta r(\mathbf{x}, \mathbf{y}) \right)^2$

其中 $Z_\phi$ 是一个学习到的提示条件化配分函数近似（FlowRL 使用 3 层 MLP）。当此损失为零时，策略分布匹配目标分布 $\pi_\theta(\mathbf{y}|\mathbf{x}) \propto \pi_{\text{ref}}(\mathbf{y}|\mathbf{x}) \exp(\beta r(\mathbf{x},\mathbf{y}))$。

GFlowRL 核心替换——批次内蒙特卡洛估计：

$\mathcal{Z}_t(\mathbf{x}) := \frac{1}{G}\sum_{i=1}^{G}\left( \beta r(\mathbf{x}, \mathbf{y}^{(i)}) + \log\pi_{\theta_{\text{ref}}}(\mathbf{y}^{(i)}\mid\mathbf{x}) - \log\pi_{\phi_{\text{old}}}(\mathbf{y}^{(i)}\mid\mathbf{x}) \right)$

该估计器利用 GRPO 训练流程中已为每个提示采样的 $G$ 个 rollout，取批次内平均作为 stop-gradient 基线——零额外计算开销。

完整 GFlowRL 损失：

$\mathcal{L}_{\text{GFlowRL}}(\theta; \mathbf{x}) = \frac{1}{G}\sum_{i=1}^{G} w^{(i)}\left( \tilde{g}^{(i)} + \frac{1}{\|\mathbf{y}^{(i)}\|}\log\frac{\pi_{\theta}(\mathbf{y}^{(i)}\mid\mathbf{x})}{\pi_{\text{old}}(\mathbf{y}^{(i)}\mid\mathbf{x})} \right)^2$

其中：

• $w^{(i)} = \min(\pi_\theta/\pi_{\text{old}}, 1+\epsilon)$ 是重要性采样修正
• $\tilde{g}^{(i)} = \text{clip}(g^{(i)}, -\epsilon_{\text{low}}, +\epsilon_{\text{high}})$ 是非对称流间隙裁剪
• 流间隙 $g^{(i)} = \text{sg}[\mathcal{Z}_t(\mathbf{x})] + \frac{1}{\|\mathbf{y}^{(i)}\|}\log\frac{\pi_{\text{old}}}{\pi_{\text{ref}}} - \beta r(\mathbf{x},\mathbf{y}^{(i)})$

关键创新点

1. 配分函数的”不必要性证明”

这是全文最精彩的部分。论文不仅说 $Z_\phi$ 不必要，而是提供了三个层次的证据：

• 替换为噪声实验：将 $Z_\phi$ 替换为 $\mathcal{N}(0.5, 1)$ 随机噪声，性能从 35.61% 微升至 36.19%——$Z_\phi$ 从未学到有用信号
• 梯度稳定性分析：FlowRL 梯度范数均值 $3.2 \times 10^{14}$，最大 $9.6 \times 10^{16}$，421 步中 55 步爆炸（$\geq 10^6$）；GFlowRL 均值仅 0.07，最大 6.18
• 学习时间不匹配诊断：$\pi_\theta$ 从数十亿参数预训练模型初始化只需微调；$Z_\phi$ 从随机初始化必须在同样短的训练窗口内从零学习——这是结构性矛盾

“Through systematic analysis, we find that the learned partition function, previously treated as essential, can be replaced by an in-batch Monte Carlo estimate computed from the rollout group already required for training.” — 论文摘要

2. 非对称流间隙裁剪

$\epsilon_{\text{low}} < \epsilon_{\text{high}}$ 的设计看似简单，但动机深刻：在训练早期，正确推理路径的采样概率低，导致流间隙为正（目标分布比当前策略赋予更高概率），此时需要更大的正向修正空间。消融实验显示移除裁剪导致准确率下降 3.9 分、梯度范数均值上升 6.3×。

3. 理论保证的优雅

在不裁剪时，GFlowRL 保持与轨迹平衡相同的固定点——$\pi_\theta(\mathbf{y}|\mathbf{x}) \propto \pi_{\text{ref}}(\mathbf{y}|\mathbf{x}) \exp(\beta r(\mathbf{x},\mathbf{y}))$。在最优解附近，流间隙为零，裁剪不活跃，不扰动稳态分布。这意味着裁剪只是训练过程中的稳定化手段，不影响最终收敛。

与基线方法的区别

维度	GRPO/PPO	FlowRL	GFlowRL
优化目标	最大化期望奖励	匹配奖励分布	匹配奖励分布
配分函数	无	学习 3 层 MLP	批次内 MC 估计
梯度稳定性	稳定	极端不稳定	稳定
MoE 收敛	✓	✗	✓
噪声奖励收敛	✓	✗	✓
解多样性	低（~1.2）	中（~2.6）	高（~3.9）

核心区别：GRPO 追求”最优解”，GFlowRL 追求”与奖励成比例的完整分布”。这意味着当奖励函数存在多峰时（如代码的多解法、对抗攻击的多策略），GFlowRL 自然覆盖更多模式。

3 实验结果

主要指标

实验覆盖三大领域：数学推理（6 基准 Avg@16）、代码生成（Codeforces Elo + LiveCodeBench）、对抗红队（AdvBench + HarmBench ASR@1）。

与 SOTA 的对比

数学推理（Qwen2.5-7B）：

方法	AIME24	AMC23	MATH500	Olympiad	Avg
GRPO	13.54	64.53	57.05	26.88	32.48
FlowRL	15.41	54.53	66.96	34.61	35.63
GFlowRL	17.29	67.66	76.89	40.25	40.92

GFlowRL 超过 GRPO +8.44，超过 FlowRL +5.29。MATH500 从 GRPO 的 57.05 提升至 76.89——近 20 分的跃升。

代码生成（DeepSeek-R1-Distill-Qwen-7B）：

方法	Codeforces Elo	HumanEval+
GRPO	1313	80.13
FlowRL	1549	83.28
GFlowRL	1646	84.93

14B 规模 Codeforces 对比：

方法	Codeforces Elo
o1	1891
DeepCoder-14B	1936
FlowRL-14B	1904
GFlowRL-14B	2048
o3-mini	2073

14B 模型仅落后 o3-mini 25 分，这是开源 14B 模型的最佳公开结果之一。

MoE 规模化：

• Qwen3-30B-A3B：数学 78.32，超 GRPO +2.54；Codeforces 1999 Elo（仅 3B 活跃参数！）
• Qwen3-235B-A22B：数学 83.35，仅 30 步训练即超 GRPO（100 步）+0.95

对抗红队：

攻击方法	AdvBench	HarmBench
SEMA（前 SOTA）	80.1	75.0
GFlowRL	82.5	79.5

FlowRL 在此任务上完全发散，GFlowRL 超过前 SOTA +2.4/+4.5。这展示了分布匹配的独特优势——红队需要发现多样化的攻击路径，而非单一最优路径。

消融实验关键发现

1. 配分函数替换验证：

配置	平均准确率
FlowRL（学习 $Z_\phi$）	35.61
FlowRL-RandomLogZ（$\mathcal{N}(0.5,1)$ 替换）	36.19
GFlowRL（MC 估计）	40.92

随机噪声替换不降反升，MC 估计则带来 5.3 分的额外增益——$Z_\phi$ 不是”没用”而是”有害”。

2. 流间隙裁剪：

配置	准确率	梯度范数均值
GFlowRL	40.92	0.095
GFlowRL-no-clip	37.02	0.601

移除裁剪：准确率 -3.9 分，梯度范数 +6.3×。裁剪对稳定训练至关重要。

3. 温度参数 β 鲁棒性：β∈[1,15] 范围内波动仅 0.5 分，极低敏感性。

4. 多样性量化：GFlowRL 多样性 3.93 vs GRPO 1.21 vs PPO 1.15——3.2× 多样性提升，且 2.7 分差距远超评判方差（≈0.53），统计显著。

4 个人分析

亮点

1. 诊断→设计完整闭环

这是本论文最令人印象深刻之处。不是”设计一个新方法然后碰巧效果好”，而是先通过严格诊断揭示根因（$Z_\phi$ 有害），再自然推导出解决方案（MC 估计替代）。替换为噪声实验堪称方法论典范——如果一个”学习到的”组件被随机噪声替换后性能不降反升，那么该组件从未学到有用信号。

2. “减法设计”哲学

在当前”加模块、加损失、加正则”的研究风气中，GFlowRL 做减法——移除 $Z_\phi$ 网络而非添加新网络。这与 RELEX（发现 rank-1 近似足够）、One Layer Enough（发现单层训练足够）形成了有趣的呼应：LLM 训练中真正需要的组件比我们以为的少得多。

3. 分布匹配 vs 奖励最大化的统一视角

本论文将 GRPO（奖励最大化）和 GFlowNet（分布匹配）统一在同一分析框架下。GFlowRL 的理论固定点与轨迹平衡一致，但工程实现极简。这提示一个深层问题：如果分布匹配目标更优且实现更简，为什么我们一直在做奖励最大化？

4. MoE 扩展的突破意义

FlowRL 在 MoE 上完全发散，而 GFlowRL 在 235B MoE 上仅 30 步即超越 GRPO。MoE 是当前大模型的主流架构（DeepSeek-V4、Qwen3），此前的 GFlowNet 方法无法应用于 MoE 等于放弃了整个主流方向。GFlowRL 的突破为分布匹配 RL 打开了 MoE 的大门。

局限性

1. 奖励分布匹配的隐含假设

GFlowRL 的目标分布 $p^\star(\mathbf{y}|\mathbf{x}) \propto \exp(\beta r(\mathbf{x},\mathbf{y}))$ 假设奖励函数 $r$ 可靠。但当奖励存在假阳性（如代码 RLVR 的测试套件泄漏，参见 arXiv:2607.11022），分布匹配会放大而非抑制奖励缺陷——它会让模型更忠实地匹配有缺陷的奖励分布。

2. 与 Spurious Rewards 的潜在冲突

最近 Spurious Rewards（arXiv:2506.10947）揭示 GRPO 的裁剪偏置在 Qwen 模型上即使使用随机/错误奖励也能提升性能——暗示”奖励信号本身可能不重要”。GFlowRL 的分布匹配目标更忠实地使用奖励信号，如果奖励信号确实不重要（裁剪偏置才是关键），那分布匹配可能反而不如”不忠实地使用奖励”的 GRPO。这一假说需要实验验证。

3. 批次大小与估计质量

MC 估计 $\mathcal{Z}_t$ 的质量取决于 rollout 组大小 $G$。论文使用 G=16，但未系统研究 $G$ 对估计质量的影响。当 $G$ 较小时，估计方差可能增大，影响训练稳定性。

4. 缺乏 pass@k 分析

论文报告 Avg@16（相当于 pass@1 的多次采样平均），但未报告 pass@k 曲线。对于分布匹配方法，pass@k 应该是更关键的评价维度——分布匹配的核心优势是多样性，这直接体现在高 k 值的 pass@k 上。

对大模型领域的影响

1. RLVR 训练范式的潜在转换

如果 GFlowRL 的分布匹配目标确实优于奖励最大化，那么整个 RLVR 训练管线需要重新审视——从 GRPO/PPO 切换到 GFlowRL 不仅改变优化目标，还改变我们理解”RLVR 做了什么”的方式：从”找到最优策略”到”匹配奖励分布”。

2. 对多样性的根本性改善

熵坍缩/模式坍缩是当前 RLVR 的核心痛点（STARE/FADE/UP 等论文均试图缓解）。GFlowRL 从目标函数层面保证多样性（3.2× GRPO），而非通过工程补丁（熵正则、裁剪调整、非对称优化）。这是治本 vs 治末的区别。

3. 红队与安全的意外收获

GFlowRL 在对抗红队任务上大幅超越 SEMA（+2.4/+4.5），这提示分布匹配 RL 在安全评估领域有独特价值——发现攻击路径本身是一个天然的多峰问题。

4. 与 RLVR 论证链的深层对话

将 GFlowRL 放入我们的 RLVR 论证链中，它提出了一个根本性问题：之前所有关于”RLVR 实际作用远比想象中浅薄”的发现（Spurious Rewards/LPO/RELEX/One Layer Enough/Sparse Policy Selection），是奖励最大化范式的局限，还是 RLVR 本身的局限？ 如果切换到分布匹配范式，这些问题是否需要重新审视？

5 实践启示

可以借鉴的技术

1. “移除而非添加”的设计思维

当一个组件导致不稳定时，先验证它是否真的在提供有用信号（替换为噪声/常数），再做设计决策。这在工程实践中极为实用——许多”必要组件”可能从未学到有意义的信息。

2. 批次内 MC 估计替代辅助网络

$\mathcal{Z}_t$ 的设计思路可泛化到任何需要条件化基线的 RL 场景：用已有 rollout 的批次统计量替代额外的可学习参数。零额外参数、零额外前向传播、零额外优化器状态。

3. 非对称裁剪

$\epsilon_{\text{low}} < \epsilon_{\text{high}}$ 的设计可迁移到任何存在”欠采样但重要”样本的训练场景。核心洞见：当训练早期某些模式采样不足时，需要给正向修正更大的空间。

4. 长度归一化的流间隙

$\frac{1}{\|\mathbf{y}^{(i)}\|}\log\frac{\pi_\theta}{\pi_{\text{ref}}}$ 的长度归一化是一个简单但有效的技巧，防止长响应主导梯度。这在 RLVR 训练中普遍适用。

潜在应用场景

1. 代码生成的多解法覆盖

GFlowRL 的多样性优势在代码生成中尤其有价值——同一问题可能有多种等价但风格不同的解法，分布匹配能保留这种多样性，而非坍缩到单一模式。

2. 安全红队评估

当前红队方法（如 GCG、PAIR）偏向发现单一攻击路径。GFlowRL 的分布匹配目标天然鼓励发现多样化的攻击策略，可作为更全面的安全评估工具。

3. 科学推理的多假设探索

在科学推理（如多步逻辑推导、定理证明）中，通常存在多条推理路径。GFlowRL 的分布匹配特性有助于模型同时保持多条推理路径的能力，而非在训练中遗忘替代路径。

4. MoE 模型的后训练

GFlowRL 是首个在 MoE 上稳定训练的 GFlowNet 风格方法。随着 MoE 架构的普及（DeepSeek-V4、Qwen3、GLM-5），这一能力具有直接工程价值。在 235B MoE 上仅 30 步即超越 GRPO，暗示分布匹配在 MoE 上可能有更高的数据效率。

5. 组合 GFlowRL + 其他 RLVR 改进

GFlowRL 与 STARE（惊奇度加权）、FADE（梯度质量分解）、UP（非对称优化）等方法在不同维度上改进 RLVR，理论上可以组合使用。特别是 GFlowRL 解决”多样性”问题，其他方法解决”信用分配”问题——两者正交且互补。