论文精读

精读：NF-CoT——用归一化流实现保留CoT全部优势的潜在推理

首次用归一化流在LLM骨干内建模连续思维链，保留精确似然、KV缓存、从左到右解码和RL优化全部优势

论文： Latent Reasoning with Normalizing Flows

作者： Guancheng Tu, Xiangjun Fu, Suhao Yu, Yao Tang, Haoqiang Kang, Lianhui Qin, Yizhe Zhang, Jiatao Gu

2026年6月7日 latent-reasoning normalizing-flows chain-of-thought RLVR code-generation test-time-compute policy-gradient

1 论文概览

一句话总结：NF-CoT 是首个在 LLM 骨干内用归一化流建模连续思维链的潜在推理框架，在保留显式 CoT 全部优势（精确似然、KV 缓存、从左到右解码、策略梯度 RL）的同时大幅降低中间推理成本。

核心问题：现有潜在推理方法在将中间计算从文本空间迁移到连续空间时，不可避免地牺牲了使显式 CoT 在自回归语言模型中有效的关键优势——包括原生从左到右生成、概率采样、KV 缓存解码兼容性和可处理的似然估计。这导致潜在推理要么无法精确评估推理质量（无似然），要么无法与标准推理管线兼容（破坏 KV 缓存），要么无法直接应用 RL 优化（无法计算策略梯度）。

主要贡献：

归一化流建模连续思维：在 LLM 骨干内实例化 TARFlow 风格归一化流，为从显式 CoT 蒸馏而来的紧凑连续思维定义可处理的概率模型，提供精确对数似然估计
统一因果流双头架构：连续思维位置由 NF Head 生成，文本位置由标准 LM Head 生成，两者在同一因果流中协同工作，共享 KV 缓存
隐空间直接策略梯度 RL：利用归一化流提供的精确似然，在连续推理空间中直接执行 GRPO/PPO 优化，且 RL 不会导致 Pass@k 多样性坍缩
显著的代码生成提升：NF-CoT (Unified)+RL 在 5 个代码生成基准上平均 70.1，较基座模型提升 +14.3，MBPP 提升 +24.9

2 方法详解

架构/方法概述

NF-CoT 的核心思想是将显式 CoT 的中间推理步骤蒸馏为连续潜在表示，然后用归一化流对这些连续思维进行概率建模，使潜在推理保留显式推理的所有计算优势。

整个框架由三个关键组件构成：

① VAE 编码器（冻结）：首先预训练一个 VAE，将显式 CoT 文本序列编码为紧凑的连续表示 $e_{1:K}$ 。编码器冻结后，其后验均值作为后续训练的监督信号。

② 浅层归一化流：实现从 VAE 编码空间 $e_{1:K}$ 到 LLM 思维空间 $u_{1:K}$ 的可逆映射 $F_\theta: e_{1:K} \mapsto u_{1:K}$ 。使用 5 个浅层 MetaBlock（交替 Identity/Flip 排列，通道宽度 2048，每块 2 层，头维度 64），因果仿射流的雅可比矩阵为三角形，对数行列式易于计算。

③ 深层流（LLM 骨干内）：采用 STARFlow 风格，将 LLM 自身作为深度自回归流块处理 $u_{1:K}$ 。在连续思维位置，LLM 的隐藏状态被传递给 NF Head，输出条件高斯密度的参数 $\mu_\theta$ 和 $\sigma_\theta$ ；在文本位置，标准 LM Head 将隐藏状态映射为 token logits。

关键创新点

创新点 1：统一因果流的双头设计

这是全文最精妙的架构贡献。连续思维 $u_{1:K}$ 被投影到词嵌入维度后，与答案文本 token 在同一个因果流中处理：

连续思维位置 → NF Head → 采样/评分高斯密度
文本位置 → LM Head → 预测 token

这意味着潜在推理和文本生成共享同一个 KV 缓存。采样连续思维时构建的 KV 缓存可以直接被答案生成阶段复用，无需额外计算成本。相比 Coconut 等方法需要特殊的连续 token 处理逻辑，NF-CoT 的推理管线与标准自回归解码完全兼容。

创新点 2：精确似然估计

归一化流的可逆性保证了 $u_{1:K}$ 与 $e_{1:K}$ 信息等价（非有损压缩）。精确对数似然通过重参数化空间计算：

$\log p_\theta(e_{1:K}|q) = \log p_\theta(u_{1:K}|q) + \log|\det J_{F_\theta}(e_{1:K};q)|$

浅层流的因果仿射结构使雅可比行列式计算高效，深层流在 LLM 内建模的高斯密度分解也提供精确似然。这使得 NF-CoT 是首个能在潜在推理空间中计算精确概率的框架——相比 Coconut 的近似 ELBO、CoDi 的变分下界，这是质的飞跃。

创新点 3：隐空间策略梯度 RL

精确似然的存在使得直接在隐空间执行策略梯度优化成为可能。策略似然被分解为：

$\log \pi_\theta(\tilde{u}, \hat{x}|q) = \underbrace{\sum_{i=1}^{K} \log p_\theta(u_i|q, u_{<i})}_{\text{NF Head 高斯似然}} + \underbrace{\sum_{j=1}^{N} \log p_\theta(x_j|q, u_{1:K}, x_{<j})}_{\text{LM Head token 似然}}$

使用 GRPO 风格的群组归一化优势函数，策略梯度为 $A(q, \tilde{u}, \hat{x}) \nabla_\theta \log \pi_\theta(\tilde{u}, \hat{x}|q)$ 。RL 阶段冻结浅层流块，优化在 $u$ 空间进行，隐变量的对数比率通过反向推导仿射变换恢复高斯噪声 $z_t$ 计算。

最关键的发现：传统 token 空间 RL 导致大 $k$ 时 Pass@ $k$ 饱和甚至坍缩（因为 RL 集中概率质量到高奖励路径），而 NF-CoT 的隐空间 RL 在提升 Pass@1 的同时，保持了更大采样预算下的上升趋势——连续隐空间的概率质量分散特性天然抵抗分布坍缩。

与基线方法的区别

方法	似然估计	KV 缓存	从左到右解码	RL 兼容
Coconut	ELBO（近似）	不兼容	部分兼容	否
CoDi	变分下界	不兼容	否	否
Soft Thinking	无	部分兼容	是	否
TaH+	无	不兼容	否	否
LaDiR	无	不兼容	否	否
NF-CoT	精确	兼容	是	是

NF-CoT 是唯一同时满足四项关键属性的潜在推理方法。

训练流程

两阶段课程学习：

阶段 1（热身）：冻结 LLM 骨干，仅训练浅层流块和连续思维投影层，将 $e \to u$ 重参数化与冻结的 LLM 空间对齐
阶段 2（联合微调）：解冻所有参数，端到端训练

统一似然目标： $\mathcal{L}_{\text{sup}} = \lambda_{\text{flow}}\mathcal{L}_{\text{flow}} + \lambda_{\text{text}}\mathcal{L}_{\text{text}}$ （ $\lambda$ 均为 1.0）

抗噪性设计：按 TarFlow 做法，计算流损失前给 $e_{1:K}$ 添加高斯噪声（ $\sigma_{\text{dq}}=0.3$ ），提高对确定性目标码的鲁棒性。

3 实验结果

主要指标

基于 Qwen3-8B-Base 骨干网络，5 个代码生成基准 Pass@1 结果：

方法	MBPP	MBPP+	HumanEval	HumanEval+	LCB v6	平均
Base Model	60.5	53.8	78.2	68.6	17.7	55.8
Standard SFT	63.3	52.7	84.6	69.5	–	–
Soft Thinking	64.2	53.1	85.0	71.2	–	–
TaH+	65.6	56.5	85.8	74.3	–	–
LaVAE	42.0	30.2	47.8	32.8	10.8	32.7
LaDiR	66.8	59.5	87.4	73.2	21.3	61.6
NF-CoT (Dual-Path)	77.5	66.2	82.9	77.7	21.6	65.2
NF-CoT (Unified)	83.9	72.1	85.8	78.3	23.7	68.8
NF-CoT (Unified)+RL	85.4	73.3	86.7	80.2	25.1	70.1

与 SOTA 的对比

NF-CoT (Unified)+RL 平均 70.1，较基座模型 +14.3，较最强潜在推理基线 LaDiR +8.5
MBPP 上 +24.9 的提升尤为惊人，表明潜在推理在需要广泛知识检索的任务上优势最大
与开源大模型对比：超越 OlympicCoder（68.5，+1.6）、Diffu-Coder（59.7，+10.4）、Ouro 2.6B（66.9，+3.2）
在 HumanEval+ 上的 80.2 分是该基准上潜在推理方法的最佳成绩

消融实验关键发现

发现 1：热身阶段不可省略

移除阶段 1 直接全参数训练导致性能显著下降：HumanEval 从 84.4 降至 81.5（-2.9），HumanEval+ 从 78.7 降至 75.5（-3.2），LCB v6 从 23.1 降至 21.4（-1.7）。原因是缺乏热身时，LLM 骨干在早期接收到来自随机初始化流组件的大梯度，破坏已编码的语言能力。

发现 2：统一路径远优于双路径

双路径因 NF 和 CE 使用不同的前缀、投影和参数化，导致学习到的隐分布与推理时使用的轨迹不匹配。统一路径将推理和解码放在单一因果序列中，消除不匹配，平均提升 3.6（68.8 vs 65.2）。

发现 3：隐空间 RL 保持 Pass@ $k$ 多样性

这是最反直觉的发现。传统 token 空间 RL 集中概率质量导致 Pass@ $k$ 在大 $k$ 时饱和甚至下降，而 NF-CoT 的隐空间 RL 在提升 Pass@1 的同时，连续隐空间的概率质量分散特性使更大的采样预算仍然有效——RL 不会使潜在轨迹分布坍缩。

4 个人分析

亮点

1. 精确似然是潜在推理的”基础设施级”贡献

此前所有潜在推理方法（Coconut、CoDi、Soft Thinking 等）都在没有精确似然的条件下工作，这不仅是评估问题，更是根本性的理论缺陷——没有似然就无法计算策略梯度、无法进行密度估计、无法做异常检测。NF-CoT 通过归一化流为潜在推理建立了完整的概率论基础设施，其影响远超单篇论文的实验贡献。

2. 统一因果流是架构设计范式转换

此前潜在推理方法的隐式思维和文本生成走的是两条路——不同的前向传播、不同的参数化、甚至不同的解码管线。NF-CoT 的双头单流设计将两者统一在同一个因果序列中，不仅解决了训练-推理不匹配问题，还使得 KV 缓存复用成为可能。这种”同一管道、不同出口”的设计哲学值得在其他模态融合任务中推广。

3. 隐空间 RL 抗坍缩性有深刻理论意义

传统 token 空间 RL 的 Pass@ $k$ 坍缩问题（Spurious Rewards 论文揭示的裁剪偏置放大、Sparse Policy Selection 论文揭示的 1-3% 决策点校正）本质上源于离散 token 空间的概率集中效应。NF-CoT 在连续高斯隐空间做 RL 时，高斯密度的分散特性天然抵抗这种集中——这意味着RL 的副作用（多样性坍缩）可能不是 RL 算法的问题，而是 token 空间的结构性问题。这一洞察与近期 RLVR 系列论文形成了深层对话。

局限性

1. 评估领域过窄

仅验证代码生成基准，且代码领域有独特的单元测试奖励信号。潜在推理在数学推理、常识推理、多步规划等领域的表现完全未知。特别是代码生成的推理结构相对确定（算法逻辑），而开放域推理的中间步骤更具不确定性，NF-CoT 的连续思维能否有效捕捉这种不确定性存疑。

2. 固定长度隐变量预算

训练基于固定长度的 VAE 编码轨迹，所有问题无论难度都使用 $K$ 个连续思维位置。这与 Overthinking 论文揭示的”不同问题需要不同推理深度”的洞察相矛盾。固定预算既可能对简单问题浪费计算，又可能对复杂问题不够用。

3. 安全与可解释性缺失

连续隐变量不可被人类阅读。论文承认解码出的 CoT 仅是定性探测而非内部推理的忠实解释。在代码生成场景，改进的代码生成能力可能产生看似合理但不安全或有漏洞的代码，缺乏可审计的推理过程增加了安全风险。

4. VAE 编码器的轨迹偏差

训练依赖预训练 VAE 编码器的后验均值作为监督信号，学习到的密度继承了显式 CoT 轨迹的偏差。如果 CoT 轨迹本身有系统性错误或低效，NF-CoT 会忠实地蒸馏这些缺陷。

对大模型领域的影响

短期影响：NF-CoT 为潜在推理提供了第一个工程可用的完整方案。精确似然 + KV 缓存 + RL 兼容三者的结合，使得潜在推理从学术探索进入工程部署阶段。代码生成领域的显著提升（MBPP +24.9）将吸引工业界快速跟进。

中期影响：隐空间 RL 抗坍缩性的发现可能改变 RLVR 的实践范式。当前 RLVR 在 token 空间的多样性问题（Spurious Rewards、Pass@ $k$ 坍缩）可能通过迁移到连续隐空间根本性解决——这与 RELEX 论文的 rank-1 外推发现（RLVR 权重更新极其简单局部）和 Sparse Policy Selection 论文（仅 1-3% 决策点被校正）共同指向一个方向：RLVR 的有效作用可能更适合在更低维的连续空间而非 token 空间执行。

长期影响：归一化流为 LLM 内部计算建立了可处理概率模型的范式。未来可能扩展到：多模态推理中的跨模态连续思维、Agent 规划中的潜在世界模型、以及推理校准中的不确定性量化。归一化流的精确似然使得贝叶斯推理和校准不确定性成为可能，这是此前潜在推理方法无法企及的。

5 实践启示

可以借鉴的技术

1. 双头单流架构

连续思维和文本生成共享同一因果序列的设计可以直接迁移到其他需要”内部计算 + 外部输出”的场景。例如：

Agent 推理：潜在规划步骤（NF Head）+ 工具调用文本（LM Head）
多模态推理：视觉特征连续思维（NF Head）+ 文本描述（LM Head）
检索增强生成：潜在检索意图（NF Head）+ 生成文本（LM Head）

2. 两阶段课程学习

先冻结骨干训练流组件（热身），再全参数联合微调的策略，适用于任何在预训练模型上插入新可学习组件的场景。关键洞察是：随机初始化的组件会产生大梯度破坏骨干的编码能力，必须先用冻结骨干校准新组件。

3. 归一化流的概率建模范式

TARFlow 风格的浅层流 + 深层流（LLM 内）的设计提供了一种通用模式：浅层流做空间变换，深层流做概率建模。这种模式可以推广到任何需要在 LLM 内部建立可处理概率模型的场景。

4. 隐空间 RL 的 Pass@ $k$ 保持

在需要 RL 优化但担心多样性坍缩的场景，考虑将优化空间从离散 token 迁移到连续隐空间。连续空间的概率质量分散特性天然抵抗分布坍缩。

潜在应用场景

代码生成与补全：直接应用场景。NF-CoT 在 MBPP/MBPP+ 上的巨大提升表明，潜在推理特别适合需要广泛知识检索的代码任务。在企业 IDE 插件中，潜在推理可以在不暴露中间推理步骤的情况下提升补全质量。
实时推理系统：KV 缓存兼容性意味着 NF-CoT 可以无缝集成到现有推理服务中。潜在推理步骤的 token 成本为零，对延迟敏感的在线服务特别有价值。
RL 后训练优化：隐空间 RL 抗坍缩特性为 RLVR 提供了新的优化空间。可以在隐空间做 RL 优化推理策略，同时保持 Pass@ $k$ 多样性用于推理时采样。
安全关键推理：精确似然估计使得可以计算推理置信度。当隐空间似然低时，可以触发安全回退机制（如切换到显式 CoT 或人类审核），这在医疗、金融等安全关键场景有直接价值。

“Latent reasoning offers a higher-bandwidth alternative by performing intermediate computation in compact continuous states before committing to text. Yet existing latent-reasoning methods often sacrifice key advantages that make CoT effective in autoregressive language models, including native left-to-right generation, probabilistic sampling, compatibility with KV-cache decoding, and tractable likelihood estimation.” — NF-CoT 原文摘要

“This design provides exact likelihoods for latent thoughts, enables probabilistic left-to-right decoding with the original KV cache, and supports direct policy-gradient optimization in the latent reasoning space.” — NF-CoT 原文摘要，阐述统一因果流设计的三重优势