论文精读

精读：GRAM——概率多轨迹递归推理

将确定性递归潜在推理重构为概率多轨迹计算，首次实现深度×宽度的双轴推理扩展

论文： Generative Recursive Reasoning

作者： Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

arXiv： 2605.19376

2026年5月24日递归推理潜在空间变分推断推理时扩展多轨迹采样生成模型 Bengio 非自回归推理

1 论文概览

一句话总结：GRAM 将确定性递归推理重构为概率潜变量生成过程，通过可学习的随机引导实现多轨迹并行探索，在结构化推理任务上以 10M 参数超越所有确定性递归基线，并首次实现推理时深度×宽度的双轴扩展。

核心问题：现有递归推理模型（RRM）的确定性本质使其只能沿单条潜在轨迹收敛到单一预测——当问题存在多个有效解（如 N-Queens）或单条路径易陷入局部最优时，这一结构性缺陷严重限制了推理系统的能力天花板。

主要贡献：

范式转换：将递归推理形式化为潜变量生成过程 $p_\theta(y|x) = \int p_\theta(y|\tau,x) p_\theta(\tau|x) d\tau$ ，通过边际化随机推理轨迹获得预测，而非沿单条确定性轨迹收敛
双轴推理扩展：引入基于宽度的推理时扩展机制——推理可沿深度（增加递归步数）和宽度（并行采样多条轨迹）两个维度独立扩展，16步×20条并行采样超越320步纯深度递归
层次化随机架构：将潜在状态解耦为高层（抽象推理状态，注入随机性）和低层（细粒度中间计算，保持确定性），随机性仅作用于高层组件，避免干扰精细计算
统一生成框架：同一架构同时支持条件推理 $p_\theta(y|x)$ 和无条件生成 $p_\theta(x)$ ，10M参数在无条件数独生成上超越55.1M参数的D3PM扩散模型
变分推断训练：采用摊销变分推断，后验 $q_\phi(\tau|x,y)$ 在训练时”看到”正确答案以学习有效探索方向，推理时仅用先验采样

2 方法详解

架构/方法概述

GRAM 的计算流程可以概括为三阶段循环：

阶段一：输入编码（一次性计算）

$e_x = f_{\text{enc}}(x; \theta)$

输入嵌入 $e_x$ 在整个递归过程中被复用，避免了重复编码的开销。

阶段二：层次化随机递归（核心创新）

潜在状态 $z = (h, l)$ 被分解为高低两层，执行 $N_{\text{sup}}$ 个监督步，每个监督步包含 $T$ 次潜在转换：

低层精炼（确定性， $K$ 次迭代）： $l_{t,k} = f_L(h_{t-1}, l_{t,k-1}, e_x; \theta)$ ，固定高层 $h$ ，在低层空间完成细粒度中间计算
高层随机转换（概率性，1次更新）：
- 确定性提议： $u_t = f_H(h_{t-1}, l_t; \theta)$
- 随机引导： $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma_\theta^2(u_t)I)$
- 状态更新： $h_t = u_t + \epsilon_t$

阶段三：解码预测

仅读取高层状态： $\hat{y} = \text{argmax} \, f_{\text{dec}}(h_T; \theta)$

关键创新点

1. 可学习随机引导的设计选择

GRAM 的随机性不是简单的噪声注入—— $\epsilon_t$ 的均值 $\mu_\theta(u_t)$ 编码了状态相关的引导方向，方差 $\sigma_\theta^2(u_t)$ 控制探索幅度。消融实验揭示了一个反直觉的发现：

去除引导方向（仅保留 $\mathcal{N}(0, \sigma_\theta^2 I)$ ）：数独保持 94.88%，但 N-Queens 暴跌至 50.27%；去除随机性（仅保留 $\mu_\theta$ ）：两个任务均为 0.00%。

这说明随机性和引导方向必须协同工作——引导方向为探索提供结构化方向，随机性则为逃逸局部最优提供必要的不确定性。单纯的随机扰动（TRM + 随机解码/随机初始化）完全无效。

2. 随机性仅注入高层的结构理性

作者尝试过向低层注入噪声，但没有带来性能提升。这一设计有深刻的认知科学对应：高层推理需要在抽象层面探索不同假设方向，低层计算则需要在确定条件下完成精确推导。这类似于人类推理中”方向选择”与”逻辑演绎”的分工。

3. 双轴扩展的工程意义

传统推理扩展只有一条路——更深（更多递归步/token），受限于串行延迟。GRAM 开辟了第二条路——更宽（更多并行轨迹），可直接利用 GPU 并行性。在壁钟时间约束下，宽度扩展远比深度扩展高效：

16步 × 20条并行 = 97.0% 准确率
320步纯深度 = 90.5% 准确率

4. 变分推断的”后验教师”机制

训练时，变分后验 $q_\phi(\tau|x,y)$ 能”看到”正确答案 $y$ ，从而学习到哪些随机引导方向通向正确解。推理时，先验 $p_\theta(\tau|x)$ 已经内化了这些有效的探索策略。这一”后验教师→先验学生”的知识蒸馏范式，是 GRAM 能在推理时高效探索的根本原因。

与基线方法的区别

维度	Looped TF / HRM / TRM	GRAM
转移类型	确定性	概率性
推理轨迹	单条	多条并行
推理扩展	仅深度	深度 × 宽度
生成能力	无	有（条件+无条件）
局部最优逃逸	无法	通过随机引导
多解覆盖	最高36.1%	高达90.3%

3 实验结果

主要指标

结构化推理基准

方法	参数量	Sudoku-Extreme	ARC-AGI-1	ARC-AGI-2
DeepSeek-R1	671B	0.0%	15.8%	1.3%
Claude 3.7 16k	—	0.0%	28.6%	0.7%
o3-mini-high	—	0.0%	34.5%	3.0%
TRM	7M	87.4%	44.6%	7.8%
HRM	27M	55.0%	40.3%	5.0%
GRAM	10M	97.0%	52.0%	11.1%

作者强调，大型推理模型的分数仅作为任务难度参考，不是同等条件下的受控基线。但 Sudoku-Extreme 上所有前沿模型均为 0% 这一事实，深刻揭示了自回归范式在约束传播推理上的结构性局限。

多解约束满足任务

方法	N-Q 8×8 Acc	N-Q 8×8 Cov	GC 8-v Conf↓	GC 10-v Conf↓
TRM	66.8%	36.1%	109.3	170.7
AR（自回归）	96.3%	84.8%	19.0	61.3
MDLM（扩散）	96.1%	87.2%	2.7	12.0
GRAM	99.7%	90.3%	2.7	3.3

关键发现：GRAM 同时实现了最高的约束满足精度（递归精炼的优势）和接近最优的多解覆盖率（概率采样的优势），而自回归模型虽然覆盖率高但约束满足差（Graph Coloring 10节点冲突边61.3 vs GRAM的3.3）。

与 SOTA 的对比

推理时扩展效率（Sudoku-Extreme）：

GRAM 在 16 步 × 20 条并行采样 = 97.0%，超越 TRM 320 步纯深度 = 90.5%
这意味着”深度+宽度”组合策略在同等计算预算下远优于单纯增加深度

无条件生成：

二值化 MNIST：GRAM 256步 FID 73.34，接近 D3PM 1000步 FID 74.03；而 TRM 16步 FID 303.29（模式坍塌）
无条件数独：GRAM 10.9M参数/16步 = 99.05% 有效率，超越 D3PM 55.1M参数/1000步

训练效率：

Sudoku 训练仅需 2 小时（8×RTX 4090），N-Queens 8×8 仅需 1 小时
但 ARC-AGI 训练需要 5 天，揭示了深监督顺序性带来的训练效率瓶颈

消融实验关键发现

架构组件累积消融（在 Looped TF 基线上逐步添加）：

配置	Sudoku	N-Queens
Base (Looped TF)	61.25%	71.30%
+ 深监督 (DS) = HRM	55.00%	80.70%
+ 深监督 + 层级递归 (HR) = TRM	87.40%	72.90%
+ DS + 随机引导 (SG)	73.90%	100.00%
+ DS + HR + SG = GRAM	93.96%	99.69%

最引人注目的发现：DS + SG（无层级递归）在 N-Queens 上达到 100%，而加入层级递归反而降至 99.69%。这表明层级递归和随机引导可能存在某种竞争关系，层级结构在结构化推理（数独）中关键，但随机引导在多解探索中可能已足够。

机制消融揭示了 GRAM 增益的真实来源：

配置	Sudoku	N-Queens
GRAM 完整	93.96%	99.69%
无引导（仅随机）	82.87%	72.91%
仅随机性（无均值引导）	94.88%	50.27%
仅引导（无随机性）	0.00%	0.00%
TRM + 随机解码	82.87%	71.66%
TRM + 随机初始化	78.53%	71.82%

零性能的确定性 GRAM 是最具说服力的消融结果——去掉随机性后模型完全崩溃，证明 GRAM 的核心价值不在于确定性递归精炼（这已被 HRM/TRM 实现），而在于概率性多轨迹探索。

4 个人分析

亮点

1. 范式级重新框架化——从”推理是一条路”到”推理是一棵树”

GRAM 最深层的贡献不是某个技术组件，而是对推理本质的重新定义。现有推理系统（自回归CoT、确定性RRM）都将推理视为单路径过程——即使 best-of-N 采样也是独立生成而非结构化探索。GRAM 将推理过程本身建模为概率潜变量过程，在潜在空间中实现了真正的多假设并行探索。这一视角转换的意义不亚于从贪心搜索到集束搜索的跃迁。

2. 与 LeCun 观点的工程化回应

LeCun 反复强调”自回归不是通向 AGI 的路径，真正的智能应在潜在空间中规划”。GRAM 恰好给出了一个具体的工程化方案：在潜在空间中、通过概率递归、同时沿深度和宽度两个方向扩展。这不是对 LeCun 的简单附和，而是提供了可验证的实证——10M 参数在结构化推理上超越 671B 的自回归模型（尽管条件不同）。

3. 随机性+引导的协同机制具有广泛启发性

消融实验揭示的”随机性+引导缺一不可”结论，对更广泛的AI系统设计有指导意义：单纯的探索（随机性）或单纯的利用（引导方向）都不够，二者的协同才是关键。这与强化学习中探索-利用权衡的经典洞见相呼应，但在潜在推理空间中首次给出了具体的架构实现。

4. 变分框架的理论优雅性

将推理过程建模为潜变量生成模型，自然地统一了条件推理和无条件生成，训练目标（ELBO）有清晰的概率解释，先验-后验的知识蒸馏机制设计精巧。这种理论整洁性在当前以工程驱动的LLM研究中显得尤为珍贵。

局限性

1. 训练效率瓶颈——通往大规模化的核心障碍

作者坦承：

“the sequential nature of deep supervision limits training efficiency compared to Transformers, posing a significant barrier to scaling GRAM toward larger foundation models.”

ARC-AGI 训练需要 5 天（8×RTX 4090），而 Looped TF 在 ARC-AGI 上因训练成本过高（预估约 97 天/776 GPU-days）未报告结果。这一训练效率问题在更大规模模型上将指数级放大。如何将深监督的顺序依赖改为并行化训练，是 GRAM 走向实用的关键挑战。

2. 基准选择的局限性——尚缺NLP推理验证

所有实验都在合成/结构化推理任务上（数独、ARC、N-Queens、Graph Coloring、MNIST），缺乏自然语言推理基准（如 GSM8K、MATH、HumanEval）。虽然作者的理由是”聚焦于架构属性探针”，但一个声称重新定义推理范式的框架，在NLP推理上的空白使其说服力打了折扣。

3. 与前沿LLM的比较公平性

作者将 DeepSeek-R1/Claude/o3 在 Sudoku-Extreme 上的 0% 作为对比，同时强调”不是同等条件下的受控基线”。但这一对比的呈现方式容易引发”小模型碾压大模型”的误解——实际上，这些大模型从未在数独数据上训练过，它们的0%反映的是训练数据分布而非架构能力。

4. 宽度扩展的实际部署成本

20 条并行轨迹意味着 20 倍的计算量（虽然可并行）。在大规模部署场景下，这种计算开销的增量需要仔细权衡。LPRM（潜在过程奖励模型）的引入虽然提供了轨迹选择机制，但增加了系统复杂性。

5. 生成风险未被充分讨论

作者提到了模型可能”产生看似合理但实际无效的生成结果”，但在安全关键场景下的风险评估不够深入。概率采样带来的多样性同时意味着不确定性——如何校准这种不确定性是一个开放问题。

对大模型领域的影响

1. 为非自回归推理范式提供了新的理论锚点

当前LLM推理的主流范式是自回归CoT+test-time compute scaling（更多token=更强推理）。GRAM 提出了根本性的替代路径：推理不必在token空间串行展开，可以在潜在空间并行探索。这一范式与近期递归推理研究（HRM、TRM）形成互补——GRAM 将这些确定性方法升级为概率框架。

2. 深度×宽度双轴扩展挑战了test-time scaling的单一维度

当前 test-time scaling 的核心假设是”更多推理计算=更好性能”，但计算方式仅限于串行深度扩展。GRAM 证明并行宽度扩展可以是更高效的替代——这对LLM推理效率优化有直接启示：与其让模型思考更久，不如让它同时思考多条路径。

3. 与本系列前期论文的深层对话

Overthinking（4月29日精读）：GRAM 的宽度扩展直接解决了过度思考问题——与其在单条轨迹上越想越错，不如并行探索多条路径
Illusion of Thinking（5月14日精读）：三体制图谱中”高复杂度两者均崩塌”的结论，可能部分因为确定性推理在复杂问题上的单路径局限——GRAM 的多轨迹范式为突破这一崩塌点提供了架构级方案
SR²AM（5月22日精读）：SR²AM 的三系统架构在概念层与 GRAM 的层次化状态对应——System II（模拟推理）≈ GRAM的高层随机探索，System I（响应式执行）≈ GRAM的低层确定性精炼

4. Bengio 的研究方向信号

作为图灵奖得主，Bengio 对 GRAM 的投入传递了一个重要信号：递归潜在推理可能成为后Transformer时代的关键架构方向。这与LeCun的”潜在空间规划”、Hinton的”胶囊网络”形成三位图灵奖得主对自回归范式的共同质疑。

5 实践启示

可以借鉴的技术

1. 可学习随机引导机制

$\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma_\theta^2(u_t)I)$ 的设计可以迁移到其他推理场景：

在LLM的CoT生成中，将temperature调度从固定值改为状态相关的自适应调度
在Agent规划中，用类似的随机引导替代贪心搜索，实现多假设并行规划
在代码生成中，将确定性补全改为概率多轨迹生成+选择

2. 层次化状态分解

将推理状态分为”方向选择”（高层，概率性）和”逻辑执行”（低层，确定性）的思想，可以用于：

改进Chain-of-Thought：将”规划步骤”和”执行步骤”解耦
Agent架构设计：规划模块（探索性）与执行模块（确定性）的分离
多Agent协作：高层策略Agent + 低层执行Agent 的层次化分工

3. 变分推断的”后验教师”范式

训练时用后验（看到答案）教导先验（不看到答案）的机制，可以用于：

推理轨迹的数据工程：从有答案的推理过程中提取有效的探索策略
自我博弈训练：后验作为”教师信号”训练先验的”学生策略”
过程奖励模型（PRM）训练：后验轨迹提供比outcome reward更精细的监督信号

4. 双轴推理扩展策略

深度×宽度的扩展思路可以用于：

推理服务架构优化：在延迟约束下，用宽度扩展替代深度扩展
Best-of-N采样的结构化升级：不是独立采样N次，而是在潜在空间中结构化地探索N条相关但不同的路径
搜索算法改进：从深度优先/广度优先到”深度×宽度”的自适应平衡

潜在应用场景

1. 约束满足与组合优化

GRAM 在 N-Queens 和 Graph Coloring 上的优异表现，直接指向：

芯片设计中的布局布线问题
物流调度中的车辆路径问题
人力资源中的排班优化问题

2. 科学发现中的多假设探索

GRAM 的多轨迹并行探索机制天然适合：

药物发现中的分子结构搜索（多候选并行评估）
材料科学中的晶体结构预测
数学定理证明中的多路径搜索

3. 后训练数据质检中的多轨迹验证

与用户的后训练数据质检系统直接相关：

对同一条数据，用多条推理轨迹交叉验证标注质量
从多轨迹的分歧度估计数据难度和标注可靠性
用变分后验识别”哪些推理路径通向正确答案”，提取高质量推理模式

4. Agent训练数据的多策略采集

与用户关注的Agent训练数据领域相关：

从GRAM的多轨迹采样中收集多样化的推理策略
用轨迹选择机制（LPRM）自动过滤低质量推理路径
将后验轨迹的”有效探索方向”蒸馏为Agent的策略先验