精读：Procedural Memory Distillation——让模型从自身训练历史中学习

1 论文概览

一句话总结

PMD 将 RLVR 训练中被丢弃的跨回合过程性信号（哪些策略持续有效、哪些失败模式反复出现）转化为三层记忆结构，通过记忆条件化的自教师蒸馏进策略权重，实现推理时无记忆依赖的自我改进模型。

核心问题

当前 RLVR 和自蒸馏方法（如 SDPO）存在回合局部性盲区：每次 rollout 被评分、用于一次更新后即被丢弃，跨回合的过程性信息——哪些策略持续通过验证、哪些失败模式顽固存在、哪些推理模式可跨问题迁移——全部浪费。这本质上是一种信用分配的时间维度缺失。

主要贡献

1. 三层过程性记忆架构：Experience（原始轨迹）→ Insight（策略+教训）→ Behavior（跨问题行为模式），从具体到抽象形成保真度-迁移性梯度
2. 协同进化训练机制：策略生成轨迹更新记忆，记忆塑造监督信号更新策略，形成闭环自改进
3. 记忆即训练脚手架：记忆仅在训练时使用，推理时完全吸收进权重，零额外推理开销
4. 记忆跨尺度迁移：从 Qwen3-8B 学到的记忆可迁移到 1.7B-32B 规模
5. 释放 test-time scaling 潜力：PMD 保留 2-4 倍更宽的验证器搜索空间，随 rollout 预算持续改善

2 方法详解

架构/方法概述

PMD 建立在 SDPO（Self-Distillation DPO）骨架之上，核心改造在于将教师从”回合局部”升级为”记忆条件化”。

训练流程：

策略 → 采样 rollout → 验证器评分 → 存储为记忆
→ 模型自我反思（提取策略/教训） → 跨问题聚类（提取行为模式）
→ 记忆条件化自教师 → 监督学生策略 → 更新后策略 → 下一轮...

三层记忆结构：

层级	内容	保真度	迁移性	示例
Experience	原始轨迹（成功+失败rollout、奖励、反馈）	高	低	某道物理题的完整推导过程
Insight	自我反思的策略+教训	中	中	”对热力学问题先列能量守恒方程” / “不要在单位换算前跳步”
Behavior	跨问题的行为模式	低	高	”所有涉及理想气体的题用PV=nRT开始”

关键设计：当同一问题同时有成功和失败 rollout 时，PMD 直接对比二者，提取”什么区分了正确推理和错误推理”——这比单纯的成功轨迹复制更精确。

关键创新点

1. 在线反思（Online Reflection）

与 Reflexion（Shinn 2023）等推理时反思不同，PMD 的反思发生在训练时。模型在训练过程中实时分析自己的成败轨迹，提取结构化的策略和教训。这意味着反思不是额外推理成本，而是训练信号的一部分。

“The richer procedural information in the rollout is rarely retained or reused. Across episodes and epochs, the model repeatedly encounters related problems under a changing policy, producing cross-episode signals that episode-local updates cannot capture.” —— 论文摘要

2. 记忆条件化自教师（Memory-Conditioned Self-Teacher）

标准自蒸馏中，教师看到的上下文仅限于当前回合的反馈。PMD 赋予教师更广阔的视野：来自先前正确尝试的策略、来自先前失败的教训、从相关问题检索到的行为模式。学生仍在自己的 rollout 状态上学习（保持 on-policy），但教师拥有了跨回合的累积知识。

3. 协同进化闭环（Co-Evolution Loop）

策略 → 生成轨迹 → 更新记忆 → 塑造监督 → 更新策略 → ...

这不是简单的”记忆增强推理”，而是一个动态耦合系统：策略的改进产生更高质量的轨迹，更高质量的轨迹提炼出更精准的记忆，更精准的记忆提供更有效的监督。任何一方的停滞都会使另一方退化。

与基线方法的区别

维度	GRPO	SDPO	PMD
更新信号来源	组内奖励差	回合内反馈+成功rollout	跨回合记忆条件化监督
时间范围	单回合	单回合	跨回合累积
过程性信息	仅最终奖励	成功轨迹作为教师	策略/教训/行为三层
推理时开销	无	无	无（记忆已蒸馏进权重）
教师视野	N/A	当前回合	跨回合+跨问题

3 实验结果

主要指标

SciKnowEval（科学推理，覆盖生物/化学/物理/材料科学）：

模型	Base Policy	GRPO	SDPO	PMD
Qwen3-8B	47.9	69.4	74.4	77.2
OLMo3-Instruct-7B	27.7	63.9	69.5	73.3

LiveCodeBench v6（代码生成，执行级单元测试反馈）：

模型	Base Policy	GRPO	SDPO	PMD
Qwen3-8B	27.1	41.2	47.9	51.7
OLMo3-Instruct-7B	27.7	36.1	45.0	51.1

PMD 相对 SDPO 的改进：SciKnowEval +3.85.5%，LiveCodeBench +7.913.6%。代码领域的改进尤为显著——这与代码中正确模式稀少、需要多次尝试才能巩固的观察一致。

与 SOTA 的对比

PMD 不是在排行榜上刷点，而是在同一训练框架（SDPO 骨架）上展示记忆条件化带来的增量增益。这使其对比更公平、更具说服力。值得注意的是，从 Base Policy 到 GRPO 的跳跃（~20点）远大于 GRPO→SDPO（~5点）和 SDPO→PMD（~3点），暗示后续改进越来越难，PMD 的边际增益在高基线上尤为难得。

消融实验关键发现

1. 协同进化是性能的必要条件

变体	描述	结果
Full PMD	策略和记忆同时进化	最佳
PMD-Transient	仅当前batch记忆，一步后丢弃	优于SDPO但弱于Full PMD
Evolving Memory + Frozen Policy	记忆更新但策略权重固定	远弱于Full PMD
Frozen Memory + Evolving Policy	策略更新但记忆固定（可能过时）	弱于Full PMD

冻结任一方性能下降超过 10%。这证明：

• 单独记忆不够：记忆不更新策略=信息停留在检索阶段，未被内化
• 单独策略不够：策略更新但记忆过时=监督信号来自旧策略的偏见
• 反射本身有价值：即使没有持久记忆（PMD-Transient），结构化策略和教训也比 SDPO 强
• 持久性是代码领域的关键：正确代码模式稀少，需要跨步累积

2. 记忆跨尺度迁移

从 Qwen3-8B 学到的记忆迁移到 Qwen3-1.7B 至 Qwen3-32B，所有尺度上记忆增强推理均优于无记忆基线。协同进化记忆的迁移效果优于冻结策略记忆，检索更多记忆条目持续改善性能。

3. Test-time scaling 更优

PMD 在 16 次 rollout 设定下，majority voting 和 best-of-k 之间的差距（“验证器搜索空间”）比 SDPO 宽 2-4 倍。这意味着 PMD 保留了更多候选多样性，为验证器重排序和 best-of-N 选择提供了更大空间。SDPO 随 rollout 预算增加趋于饱和，PMD 则持续改善。

4. 记忆库动态

Experience 和 Insight 记忆在训练早期快速增长后趋于饱和（按问题容量上限），Behavior 记忆更像”整合层”——保留可复用技能同时避免冗余行为。这不是无限膨胀的文本堆，而是有结构的压缩过程。

5. 记忆内化的证据

PMD 训练后，学生策略的 memory-free rollout 中与记忆相关的概念（“strategy”、“lesson”、“behavior”）出现频率增加，证明教师侧的记忆引导正在被吸收进策略权重。

4 个人分析

亮点

1. 问题定义的范式级精度

“回合局部性盲区”这个诊断精确且有深度。过去一年我们对 RLVR 的理解经历了多轮范式转移——从”RLVR 教会新能力”（Spurious Rewards 否定），到”RLVR 放大预训练先验”（裁剪偏置解释），到”RLVR 做稀疏策略选择”（Sparse Policy Selection），到”RLVR 重分配概率质量”（RL Unlocks Parametric Knowledge），到”RLVR 权重轨迹低秩可预测”（RELEX）。PMD 从一个不同但互补的维度切入：不是 RLVR 做了什么不对，而是 RLVR 丢掉了什么有价值的东西——跨回合的过程性信号。

2. 三层记忆的抽象梯度设计

Experience → Insight → Behavior 的三层结构不是随意堆叠，而是精确映射了认知科学中”情节记忆→语义记忆→程序性记忆”的经典层级。更重要的是，它创造了一个保真度-迁移性梯度：

• Experience 高保真低迁移（具体但局限于单问题）
• Behavior 低保真高迁移（抽象但可跨问题复用）
• Insight 居中

这种设计直接回应了一个核心张力：训练时需要具体指导，但泛化需要抽象模式。

3. 记忆即脚手架而非依赖

这是全文最优雅的设计决策。与 RAG、MemGPT 等在推理时依赖外部记忆库的方法不同，PMD 的记忆在训练结束后被完全吸收进权重。推理时零额外开销，不存在检索延迟、记忆过时、存储成本等部署问题。

“PMD uses memory as a training scaffold, not a deployment dependency.” —— Salesforce 博客

4. 协同进化的因果验证

三组消融（Full/冻结策略/冻结记忆）不是简单的消融，而是对协同进化假说的因果验证。冻结策略时记忆变得无用（未被内化），冻结记忆时策略进化失去方向（监督信号过时），这精确地证明了”双边更新”的必要性。

局限性

1. 反射准确性的”承重前提”

Pith 审阅精确定位了这个关键弱点：三层记忆的质量完全依赖于模型自我反思的准确性。如果模型对失败原因的诊断本身是错误的，那么提取的”教训”和”行为”就是噪声而非信号。论文未充分讨论这一风险。

“The load-bearing premise is that the self-reflected strategies, lessons, and patterns extracted online from the model’s trajectories are accurate and non-noisy enough to serve as effective supervision signals.” —— Pith 审阅

2. 评估领域的窄度

仅 SciKnowEval 和 LiveCodeBench 两个基准，且 SciKnowEval 虽覆盖四学科但本质上是知识密集型推理。缺少纯数学推理（如 AIME、MATH）、长上下文推理、工具使用等场景的验证。尤其在数学推理上的表现如何——这是 RLVR 最主流的评估领域——是显著的空白。

3. 可扩展性未验证

论文使用 7-8B 模型，未验证在更大规模（70B+）上的效果。协同进化的计算开销（记忆存储、反思生成、教师条件化）随模型规模如何增长？记忆库的检索效率如何？这些问题在工业级部署中至关重要。

4. 与 RLVR 基础理论发现的对话不足

近期的 Spurious Rewards 证明 RLVR 在 Qwen 上的改进可能来自裁剪偏置而非奖励信号，RELEX 证明 RLVR 权重轨迹极低秩。这些发现暗示 RLVR 的改进空间可能比看起来更小。PMD 是否在更丰富的过程性信号上仍然受限于这些结构约束？论文未讨论。

5. 记忆迁移的有限验证

迁移实验仅展示”记忆增强推理”的结果，未展示”迁移后蒸馏训练”的结果。关键问题应该是：从大模型学到的记忆能否帮助小模型的 PMD 训练更快收敛？而非仅仅在推理时提供检索增强。

对大模型领域的影响

短期：PMD 为 RLVR 后训练提供了一个实用的增量改进方案。在现有 SDPO 框架上添加记忆条件化模块，不需要改变推理架构，可以直接集成进现有训练流水线。

中期：协同进化机制可能成为 Agent 训练的新范式。当前 Agent 训练面临类似问题——每次交互的教训不被跨会话累积。PMD 的框架可以扩展到 Agent 场景：将多轮交互的失败模式提取为行为记忆，在后续训练中条件化教师。

长期：PMD 提出了”自改进的累积性”这一根本性问题——如果模型能从自身训练历史中学习，那么训练就不再是”从数据中学习”，而是”从经验中学习”。这与 AutoMem（记忆管理作为可学习认知技能）、Ratchet（库漂移的生命周期管理）共同指向一个方向：LLM 的自改进需要显式的时间维度管理。

5 实践启示

可以借鉴的技术

1. 三层记忆架构可用于后训练数据质检

Insight 层的”策略+教训”提取可直接用于训练数据质量评估：对每个训练样本提取”什么导致了正确/错误”，作为数据质量标签。这比 SAERL 的 SAE 探针更直观、更可解释。

2. 协同进化机制可用于 Agent 技能库训练

Ratchet 发现”库漂移”是自进化 Agent 的核心问题。PMD 的协同进化循环提供了一个优雅的解法：技能库不是静态的，而是与 Agent 策略共同进化。当 Agent 能力提升时，技能库也需相应更新——否则就会出现”过时记忆”问题。

3. “记忆即脚手架”思想可用于高效微调

任何需要多轮迭代的微调场景（如领域适配、安全对齐）都可以采用类似策略：维护一个外部记忆库累积跨轮信号，训练结束后丢弃。这比直接扩大 batch size 或增加 epoch 更高效，因为它显式地捕获了跨轮的模式。

4. 记忆跨尺度迁移可用于知识蒸馏

大模型训练中积累的过程性记忆可以直接迁移到小模型，避免从小模型自身的低质量轨迹中学习。这与知识蒸馏的经典思路一致，但 PMD 提供了更结构化的迁移媒介——不是简单的 logits，而是策略+教训+行为。

潜在应用场景

1. 代码 Agent 训练：PMD 在 LiveCodeBench 上的 13.6% 提升直接命中代码 Agent 训练痛点——正确模式稀少但关键，跨回合累积对代码领域尤为重要
2. 科学推理增强：SciKnowEval 的跨学科覆盖表明 PMD 对知识密集型推理有普遍提升效果
3. 多轮对话优化：对话系统的跨会话一致性可通过类似的过程性记忆机制改善
4. 安全对齐迭代训练：Alignment Tampering 揭示 RLHF 存在结构性漏洞，PMD 的跨回合教训提取可能帮助识别并纠正系统性偏见模式
5. 课程学习优化：Behavior 记忆的跨问题聚类本质上是一种自动课程发现机制——哪些技能是通用的、哪些错误是共性的