论文精读

精读：DiRL——推理还是记忆？方向感知的RL探索

揭示LLM强化学习中探索多样性的推理-记忆对齐盲区，提出方向感知奖励塑形框架，选择性放大推理探索、抑制记忆捷径

论文： Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

作者： Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

arXiv： 2606.10346

2026年6月10日 RLVR 推理-记忆区分探索多样性 GRPO 奖励塑形模型内部信号对齐

1 论文概览

一句话总结：DiRL 揭示了 LLM 强化学习中”探索多样性”的盲区——并非所有多样性都有价值，推理对齐的新颖性应被放大，记忆对齐的变异应被抑制——并提出了一个从模型内部表征提取推理-记忆方向、据此进行方向感知奖励塑形的框架。

核心问题：

在 LLM 强化学习（尤其是 RLVR）中，探索（exploration）对于发现有效的解题轨迹至关重要。现有的探索方法鼓励语义或梯度空间的多样性，但存在一个根本性的盲区：

一条轨迹可能因为探索了真正新的推理路径而显得新颖，也可能仅仅因为触发了与模型记忆不同的模式而显得新颖。现有方法对这两种情况给予相同奖励。

这导致探索可能”放大基于记忆的变化而非真正的推理改进”。在 Spurious Rewards（arXiv:2506.10947）揭示 GRPO 的裁剪偏置主要放大预训练先验行为、RL Unlocks Parametric Knowledge（arXiv:2605.07153）揭示 RL 的增益主要来自概率重分配而非新能力学习之后，DiRL 进一步将目光聚焦到探索环节：探索多样性本身的方向性问题。

主要贡献：

问题重新定义：首次在 RL 探索中区分”推理对齐的多样性”和”记忆对齐的多样性”，证明不区分二者会系统性误导探索方向
推理-记忆方向提取：从模型残差流中提取一个几何方向 $\mathbf{k}$ ，利用推理密集型和记忆密集型数据的隐藏状态差异，仅需一次计算且在 RL 训练中保持稳定
方向加权梯度特征：构造 token 级方向权重 $\alpha_t$ ，对梯度特征进行加权聚合，使特征差异主要反映推理多样性而非记忆变异
推理锚定探索分数：通过推理/记忆子组分离和差异化参考集设计，实现推理响应的多样性奖励和记忆响应的多样性惩罚
极低开销集成：全部辅助操作来自标准前向传播，无需额外反向传播，训练时间开销仅约 13-18%

2 方法详解

架构/方法概述

DiRL 的完整流程可以分解为四个阶段：

阶段一：推理-记忆方向提取（训练前一次性完成）

构建两个不相交的数据集—— $\mathcal{D}_+$ （推理密集型：GSM8K、MGSM、MMLU-Pro 推理部分、MATH-R）和 $\mathcal{D}_-$ （记忆密集型：PopQA、C-Eval 人文部分、MMLU-Pro 记忆部分、MATH-M）——取两组数据在模型最后一个提示位置的最终层隐藏状态均值之差作为方向 $\mathbf{k}$ ：

$\mathbf{k} = \frac{1}{|\mathcal{D}_+|}\sum_{x \in \mathcal{D}_+} h^\star(x) - \frac{1}{|\mathcal{D}_-|}\sum_{x \in \mathcal{D}_-} h^\star(x)$

这里 MATH-R/M 通过 GPT-4o 评分（阈值 0.5）将 MATH 分为推理密集和记忆密集子集。关键设计： $\mathbf{k}$ 仅使用初始策略参数 $\theta_0$ 计算一次，整个 RL 训练中保持固定。

阶段二：方向加权梯度特征构建（每个 rollout）

对每个响应中的每个 token，计算两个信号：

逐 token 梯度特征 $\phi_t = W(e(y_t) - p_t)$ ：策略输出层的梯度分解，无需反向传播
方向权重 $\alpha_t = \sigma(\langle h_t, \mathbf{k} \rangle)$ ：与推理方向对齐更强的 token 获得更大权重

聚合得到方向加权梯度特征： $\Phi^{(i)} = \sum_{t=1}^{L^{(i)}} \alpha_t \phi_t$

经过方向加权后， $\Phi$ 向量之间的角度差异主要反映推理多样性的差异，而非记忆模式的差异。

阶段三：推理锚定探索分数（每个 rollout 组内）

将响应按隐藏状态与 $\mathbf{k}$ 的投影分为推理对齐子组 $\mathcal{G}_R$ 和记忆对齐子组 $\mathcal{G}_M$ ，计算余弦相似度后得到探索分数 $\nu^{(i)}$ 。

核心设计——差异化参考集：

推理响应 $i \in \mathcal{G}_R$ ：参考集为推理同伴 $\mathcal{G}_R \setminus \{i\}$ ，高分数意味着带来了其他推理对齐响应未覆盖的更新方向 → 应被奖励
记忆响应 $i \in \mathcal{G}_M$ ：参考集为推理子组 $\mathcal{G}_R$ ，高分数意味着远离推理对齐的更新方向 → 应被惩罚

这一设计是 DiRL 最精巧的贡献：它不是简单地”惩罚记忆响应”，而是利用记忆响应与推理子组的距离作为惩罚依据——距离越远（即越”独特”地偏离推理），惩罚越重。

阶段四：方向感知奖励塑形

$\tilde{r}^{(i)} = \begin{cases} r^{(i)} + \lambda_+ \bar{\nu}^{(i)} & \text{if } i \in \mathcal{G}_R \\ r^{(i)} - \lambda_- \bar{\nu}^{(i)} & \text{if } i \in \mathcal{G}_M \end{cases}$

四种轨迹类型的处理逻辑形成一个优雅的梯度：

轨迹类型	原始奖励	塑形效果	直觉
推理+正确	+1	≥1：加大奖励	具有新推理方向的正确响应最有价值
推理+错误	-1	≥-1：软化惩罚	错误但新颖的推理尝试仍提供有用的更新方向
记忆+正确	+1	<1：减小奖励	依赖记忆更新的正确响应应被抑制
记忆+错误	-1	≤-1：加重惩罚	远离推理的错误记忆响应最应被抑制

关键创新点

推理-记忆方向作为几何锚点：从残差流中提取的 $\mathbf{k}$ 不是任意的启发式标签，而是基于机制解释性研究（Hernandez et al., 2024; Hong et al., 2025）验证的线性可分方向。这赋予了方向提取以理论根基。
方向加权梯度特征的分解性： $\phi_t = W(e(y_t) - p_t)$ 是策略全参数梯度在各层间的分解形式（附录 A 给出证明），使得 DiRL 可以从前向传播直接计算，无需反向传播。这与 SAERL（需要训练 SAE）和 Hidden-Align（需要余弦对齐损失）相比，在计算效率上有显著优势。
差异化参考集的非对称设计：推理响应用推理同伴做参考、记忆响应用推理子组做参考，这种非对称设计实现了”在推理空间奖励探索、在记忆空间惩罚偏离”的双重目标。

与基线方法的区别

方法	多样性度量	是否区分推理/记忆	信号来源	额外开销
Entropy Bonus	策略熵	否	策略输出分布	极低
EVOL-RL	句子嵌入语义相似度	否	外部编码器	中等
G2RL	策略梯度特征余弦相似度	否	模型前向传播	低
DiRL	方向加权梯度特征余弦相似度	是	模型内部表征+前向传播	低

G2RL 是 DiRL 最接近的基线——二者都使用梯度特征空间度量多样性。关键区别在于：DiRL 通过方向加权和子组分离，在梯度特征空间中解耦了推理和记忆两个正交维度，使得多样性度量只在推理维度上生效。

3 实验结果

主要指标

DiRL 在 Qwen3-1.7B 和 Qwen3-4B 上训练，在四个数学推理基准和两个通用推理基准上评估。

Qwen3-4B-Base 核心结果（pass@1）：

方法	MATH500	AMC	AIME24	AIME25
GRPO	77.4	53.0	12.3	10.4
Entropy Bonus	78.3	53.7	13.8	12.1
EVOL-RL	79.5	53.1	14.4	12.3
G2RL	79.3	54.1	17.0	15.6
DiRL	83.0	61.0	19.6	18.3

在 4B 模型上，DiRL vs 最强基线 G2RL 的增益：MATH500 +3.7、AMC +6.9、AIME24 +2.6、AIME25 +2.7。AMC 上的 +6.9 是最显著的提升。

与 SOTA 的对比

DiRL 不是在与整个 RLVR 生态的 SOTA 竞争，而是在探索策略这一特定维度上推进 SOTA。值得注意的是：

pass@16 指标：Qwen3-4B DiRL 在 AMC 上达到 94.5，AIME25 达到 45.8（G2RL 分别为 90.4 和 42.0），说明方向感知探索确实帮助策略覆盖了更广的有效推理路径
泛化性能：在非数学推理基准上，GPQA 从 35.9 提升至 39.9（+4.0），MMLU-Pro 从 54.1 提升至 58.3（+4.2），证明推理能力的提升具有跨域迁移性

消融实验关键发现

论文进行了四项消融实验，每一项对应 DiRL 的一个核心组件：

变体	移除的组件	核心发现
No-Sub	推理/记忆子组分离	最大且最一致的下降——明确分离推理和记忆是 DiRL 的基础
No-Shape	符号翻转（记忆惩罚）	显著性能下降——仅识别推理与记忆不够，必须主动鼓励推理、抑制记忆
No-MR	记忆响应的推理参考集	性能下降——相对于推理轨迹评估记忆响应为”记忆→推理”迁移提供了优化目标
No-α	token 级方向权重	性能较低——token 级加权通过强调推理相关 token 进一步细化方向信号

消融实验的层次性解读：四个组件形成一个从粗到细的层级结构——子组分离（最粗粒度的推理/记忆划分）→ 符号塑形（方向性奖惩）→ 参考集设计（记忆响应的优化目标）→ token 级权重（最细粒度的信号细化）。消融结果证实了每一层的独立贡献。

其他关键实验

GSM-Symbolic 测试：在符号扰动的 GSM 变体上，DiRL 一致最佳，尤其在 P2 强扰动下优势明显（1.7B: 47 vs 46; 4B: 82 vs 76）。这证明 DiRL 的改进反映的是”更强的推理能力”而非”更好的任务适配”。

方向稳定性验证：

几何稳定性：训练结束时方向偏差仅 4.86°-5.75°
语义稳定性：推理/记忆分类准确率始终 >0.84
这为”一次提取、全程使用”的设计提供了实验支撑

推理比例分析：

Qwen3-4B 的推理对齐响应比例从 G2RL 的 45.8% 提升至 DiRL 的 60.0%
更大模型的推理比例增幅更大，表明更大的模型具有更强的潜在推理能力，能从推理对齐探索中获益更多

超参数鲁棒性： $(\lambda_+, \lambda_-)$ 在 $\{0.5, 1.0, 1.5\}$ 范围内 DiRL 均表现强劲，对超参数选择不敏感。

训练效率：仅引入约 13-18% 的训练时间开销，所有辅助操作无需额外反向传播。

4 个人分析

亮点

1. 问题重新定义的范式价值

DiRL 的核心洞察——“不是所有多样性都有价值”——看似简单，实则深刻。它将 RLVR 探索从一个一维优化问题（最大化多样性）提升为二维优化问题（最大化推理多样性 + 最小化记忆多样性）。这个重新框架化与我们的系列论文形成了完整的认知链：

Spurious Rewards：RLVR 的增益可能来自裁剪偏置放大预训练先验（记忆）
RELEX：RLVR 的权重轨迹极低秩（操作简单且局部）
RL Unlocks Parametric Knowledge：RL 的增益主要来自概率重分配（可访问性而非新能力）
DiRL：RLVR 的探索应区分推理和记忆方向（不是所有探索都有价值）

四篇论文共同指向一个核心洞见：RLVR 实际做了什么，远比训练流程暗示的更简单、更局部、更偏向记忆/先验。DiRL 的贡献在于提供了纠正这一偏差的具体方案。

2. 方向提取的理论根基与实验验证的闭环

DiRL 的方向提取不是黑箱标签，而是基于机制解释性研究的线性可分方向。更关键的是，论文用两重实验验证了方向的稳定性：几何上角度偏差 <6°，语义上分类准确率始终 >0.84。这种”机制假设→特征提取→稳定性验证”的闭环，在 LLM RL 文献中并不多见。

3. 非对称参考集设计的优雅性

推理响应用推理同伴做参考、记忆响应用推理子组做参考，这一非对称设计暗示了一个深刻的思想：记忆响应的价值不在于它们彼此之间有多不同，而在于它们离推理空间有多远。这实际上为记忆→推理的迁移提供了一个隐式的优化压力。

4. 极低计算开销

全部辅助操作来自前向传播中间激活，无需额外反向传播或外部编码器，仅引入 13-18% 训练时间开销。这使得 DiRL 可以作为 GRPO 的即插即用增强，具有直接工程价值。

局限性

1. 推理-记忆二分法的简化

DiRL 将 LLM 行为空间简化为推理和记忆两个正交方向，但实际的行为空间可能更复杂。规划、符号操作、类比推理等可能构成与”推理 vs 记忆”正交的其他维度。论文承认这一点：

“更复杂的任务可能涉及多个潜在推理行为维度（如规划、符号操作、事实回忆），自动发现和利用更丰富的推理相关方向集是未来工作方向。”

这意味着 DiRL 的单一全局方向 $\mathbf{k}$ 可能遗漏了行为空间中的其他关键维度。

2. 评估范围偏窄

主要评估集中在数学推理基准（MATH500、AMC、AIME）上，泛化实验仅涉及 GPQA 和 MMLU-Pro。缺少在代码生成、多跳推理、Agent 任务等更广泛场景的验证。推理-记忆方向的迁移性在这些场景下是否成立，尚不明确。

3. 方向构建的依赖性

$\mathbf{k}$ 的构建需要代表推理密集型和记忆密集型的数据集，且 MATH 的推理/记忆子集需要 GPT-4o 评分标注。这种依赖性限制了 DiRL 在缺乏标注数据的领域的直接应用。虽然论文证明方向在训练中高度稳定，但不同模型/任务是否需要重新构建方向，仍需进一步验证。

4. 与更广泛 RLVR 改进的交互

DiRL 仅改变 GRPO 的奖励塑形，未与 LPO（散度选择）、CPPO（信任域设计）、Hidden-Align（隐藏状态对齐）等方法进行组合实验。这些方法作用于 RLVR 的不同组件，理论上可以叠加。DiRL 在 RLVR 改进的全景图中处于什么位置，需要更系统的比较。

对大模型领域的影响

短期影响：DiRL 为 GRPO（当前最流行的 RLVR 算法）提供了一个即插即用的探索增强方案，可以零成本集成到现有训练流水线中。13-18% 的额外开销换来 AIME25 pass@1 从 15.6 到 18.3 的提升，性价比极高。

中期影响：DiRL 的”推理-记忆方向”概念可能催生一系列方向感知的训练方法。如果推理和记忆在残差流中确实线性可分（论文引用了机制解释性研究的支撑），那么这一方向不仅可以用于探索，还可以用于训练数据筛选、课程学习设计、推理过程监控等更广泛的场景。

长期影响：DiRL 与 Spurious Rewards / RELEX / RL Unlocks Parametric Knowledge 共同指向一个根本性问题——当前的 RLVR 训练范式在”模型实际学什么”这个问题上存在系统性的认知偏差。如果 RLVR 的增益主要来自概率重分配和先验放大（记忆方向），而非真正的推理能力习得，那么整个 RLVR 社区需要重新审视训练目标的设计。DiRL 提供了一个从”无差别优化”到”方向感知优化”的范式转换思路。

5 实践启示

可以借鉴的技术

1. 残差流方向提取作为训练信号

DiRL 证明模型残差流中的线性方向可以稳定地编码推理-记忆的区分，且只需一次提取。这一思路可以泛化到其他行为维度的提取：

代码生成中的”创造性解法 vs 模式匹配”
Agent 行为中的”探索式规划 vs 贪心执行”
多语言场景中的”跨语言迁移 vs 语言特定记忆”

2. 方向加权梯度特征

$\phi_t = W(e(y_t) - p_t)$ 的分解性质使得我们可以从前向传播直接获取梯度信息，避免了反向传播的开销。这一技巧可以广泛应用于需要 token 级信号的场景：

训练数据的 token 级质量评估（替代 SAE 探针）
推理过程的在线监控（检测记忆漂移）
课程学习的 token 级难度标注

3. 非对称参考集设计

“推理响应用推理同伴做参考、记忆响应用推理子组做参考”的非对称设计，可以迁移到其他需要区分行为类型的场景：

安全对齐中：对齐响应用对齐同伴做参考、未对齐响应用对齐子组做参考
多任务学习中：专家轨迹用专家同伴做参考、新手轨迹用专家子组做参考

潜在应用场景

1. RLVR 训练流水线增强

DiRL 可以直接作为 GRPO 的插件，在现有 RLVR 训练中加入方向感知探索。对于已经使用 GRPO 的团队，只需：

在训练前提取推理-记忆方向 $\mathbf{k}$ （需要推理密集和记忆密集数据各约 1k 条）
在 GRPO 的奖励计算环节加入方向加权梯度特征和探索分数
调整 $\lambda_+$ 和 $\lambda_-$ 超参数（默认 1.0 即可，鲁棒性强）

2. 后训练数据质量监控

利用推理-记忆方向，可以对 RLVR 训练过程中的 rollout 质量进行实时监控。如果记忆对齐响应比例持续上升，可能意味着策略正在陷入记忆捷径而非发展推理能力，需要调整训练策略。

3. 训练数据筛选

方向提取过程需要推理密集和记忆密集数据的标注。反向利用这一机制：对于未标注的数据，可以通过与 $\mathbf{k}$ 的投影自动判断其推理/记忆属性，用于筛选高质量推理训练数据。

4. 推理鲁棒性增强

GSM-Symbolic 实验证明 DiRL 训练的模型在强扰动下表现更好。对于需要推理鲁棒性的场景（如对抗性评估、分布外泛化），方向感知训练可能是一个有效策略。

本精读基于 arXiv:2606.10346 (v1, 2026-06-09) 撰写。论文代码尚未公开。