精读：ARMOR——从被动惩罚到主动锚定的 LLM RL 稳定训练

1 论文概览

一句话总结： 揭示 LLM 强化学习中 Reverse KL 正则化的稳定性-探索根本困境，提出从”被动惩罚”到”主动锚定”的范式转换——ARMOR 框架通过锚点采样保留已验证解题模式，混合优化构建自适应信任域，将验证崩溃的退化训练变为持续提升的稳定训练。

核心问题： LLM 强化学习训练存在过优化（Over-Optimization）现象——训练奖励持续上升，但验证集性能解耦并下降。这不是经典的奖励黑客（训练和验证奖励信号一致），而是模型对训练启发式的过度利用，以牺牲泛化推理能力为代价。标准防御手段 Reverse KL 正则化结构性不足：模式寻求导致坍缩，均匀惩罚导致停滞——构成稳定性-探索困境。

主要贡献：

1. 系统诊断 Reverse KL 的根本缺陷：不是”惩罚不够强”而是”惩罚方式错了”——模式寻求本质让策略坍缩到捷径模式，均匀惩罚又扼杀探索更优路径的能力，两者不可兼得
2. 范式级转换：被动惩罚 → 主动锚定：ARMOR 不在模型偏离时施加惩罚，而是主动注入参考策略的正确样本作为锚点，从根本上防止解题模式丢失
3. 锚点采样（Anchor Rollout）：在每个训练组的同策略响应中注入一条来自参考策略的正确样本（通过拒绝采样保证 R=1），以 ~125% 推理成本换取稳定性底线
4. 混合优化（Mixed Optimization）：用混合策略 π_mix = α·π_θ + (1-α)·π_ref 构造混合重要性采样比率，推导出自适应信任域边界——对参考支持的正确答案允许更大更新步伐，对参考中的错误行为施加更强制裁
5. 跨模型、跨算法的有效性：在 Qwen2.5-Math-7B 和 Qwen3-8B-Base 上、DAPO 和 QAE 两种算法上均有效，AIME24 提升 +5.91 至 +11.15 分

2 方法详解

架构/方法概述

ARMOR 框架由两个互补组件构成，分别提供稳定性底线和探索上限：

ARMOR = Anchor Rollout（稳定性）+ Mixed Optimization（性能上限）

训练流程（算法 1）：

1. Anchor Rollout 阶段：加载当前策略 θ^{t-1} 采样同策略响应组，加载参考策略 θ_ref 采样离策略锚点（拒绝采样保证正确性 R=1），注入同策略组
2. Mixed Optimization 阶段：使用混合重要性采样比率 r_mix 更新策略 θ^t
3. 参考重置：每 τ 步重置参考策略 θ_ref ← θ^t（可选）

关键创新点

创新一：锚点采样——主动模式保留

在每个响应组中注入来自参考策略 π_ref 的正确样本，使得训练信号中始终保留已验证的解题模式。

核心公式：

$y_i \sim \pi_{\theta_{\text{old}}}(\cdot|x), \quad 1 \leq i \leq |G|-1$ $y_{\text{anc}} \sim \pi_{\text{ref}}(\cdot|x), \quad \text{s.t. } R(x, y_{\text{anc}}) = 1$

设计要点：

• 仅使用正向锚点（正确样本）：包含负样本会驱动模型远离参考策略，增加不稳定性
• 拒绝采样：从参考策略采样直至获得正确答案，采样预算为 4/查询
• 推理成本：约 125% 的同策略基线（20/16），以 25% 额外成本换取稳定性

创新二：混合优化——自适应信任域

用混合策略替代原始策略构造重要性采样比率，推导出自适应信任域边界。

混合策略构造：

$\pi_{\theta}^{\text{mix}} = \alpha \cdot \pi_{\theta} + (1-\alpha) \cdot \pi_{\text{ref}}$

混合重要性采样比率：

$r_{i,t}^{\text{mix}}(\theta) = \frac{\alpha \cdot \pi_{\theta}(\cdot) + (1-\alpha) \cdot \pi_{\text{ref}}(\cdot)}{\alpha \cdot \pi_{\theta_{\text{old}}}(\cdot) + (1-\alpha) \cdot \pi_{\text{ref}}(\cdot)}$

自适应信任域边界（核心推导）：

$\pi_{\theta} = (1 \pm \varepsilon) \cdot \pi_{\theta_{\text{old}}} \pm \varepsilon \frac{1-\alpha}{\alpha} \cdot \pi_{\text{ref}}$

右侧第二项（扩展项 ≥ 0）揭示双重机制：

• 正向更新：更高的上界允许对参考支持的正确答案迈出更大步伐——强化已验证的正确性
• 负向更新：更低的下界允许更强制裁参考策略中的错误行为——修正参考偏差，这是超越参考性能上限的关键

与基线方法的区别

方法	防御机制	问题
Reverse KL	被动惩罚策略偏离	模式寻求→坍缩；均匀惩罚→停滞
OPD/MOPD	教师引导蒸馏	仅边际改善教师模型（+0.06~+0.79分）
ARMOR	主动锚定+自适应信任域	稳定性底线+探索上限兼得

ARMOR 与标准 off-policy RL 的根本区别：ARMOR 不是用旧数据做经验回放，而是有选择地注入参考策略的正确样本作为训练信号中的锚点，配合混合重要性采样比率实现方向感知的正则化。

3 实验结果

主要指标

实验在两个模型（Qwen2.5-Math-7B、Qwen3-8B-Base）和两种 RL 算法（DAPO、QAE）上进行，评估涵盖数学推理（AIME24/25、AMC）和通用能力（GPQA、MMLU-Pro），统一报告 avg@32。

核心结果：数学推理

模型	方法	AIME24	AIME25	AMC	数学平均
7B	DAPO	37.13	15.21	69.39	40.58
	+ARMOR	43.04 (+5.91)	18.13 (+2.92)	76.13 (+6.74)	45.77 (+5.19)
	QAE	39.79	15.96	73.53	43.09
	+ARMOR	41.58 (+1.79)	16.15 (+0.19)	76.62 (+3.09)	44.78 (+1.69)
8B	DAPO	36.98	28.13	71.72	45.61
	+ARMOR	48.13 (+11.15)	34.48 (+6.35)	80.35 (+8.63)	54.32 (+8.71)

• Qwen3-8B + DAPO + ARMOR 是最亮眼的组合：AIME24 从 36.98 跃升至 48.13（+11.15 分）
• 数学平均分提升 +5 至 +9 分

通用能力保持/提升

模型-方法	GPQA	MMLU-Pro
7B-DAPO	38.26	43.93
+ARMOR	42.49 (+4.23)	46.03 (+2.10)
8B-DAPO	49.87	65.55
+ARMOR	56.25 (+6.38)	68.90 (+3.35)

推理提升未牺牲通用能力——GPQA 和 MMLU-Pro 同步提升 +2 至 +6 分。

Pass@k 结果：绝对解题能力验证

模型-方法	AIME24 pass@16	平均 pass@16
8B-DAPO	70.65	70.59
+ARMOR	74.60 (+3.95)	72.23 (+1.64)

Pass@k 同步提升证明：ARMOR 的改进不是准确率-覆盖率权衡，而是绝对解题能力的稳健提升。

与 SOTA 的对比

与教师引导两阶段训练（OPD/MOPD）对比，ARMOR 全面碾压：

方法	AIME24	AMC	数学平均
OPD	38.12	68.59	40.64
MOPD	38.85	68.56	41.11
ARMOR	43.04	76.13	45.77

OPD/MOPD 仅边际改善教师模型（+0.06~+0.79 分），ARMOR 大幅超越（+4~+8 分），证明直接针对过优化比简单蒸馏更有效。

消融实验关键发现

发现 1：锚点采样不可或缺

仅使用 Mixed Optimization（不注入锚点），无论 α 取何值（0.7/0.8/0.9），AIME24 先升至 ~40 后最终崩溃。锚点采样提供稳定性底线。

发现 2：混合优化解锁性能上限

仅使用 Anchor Rollout + 标准 DAPO：稳定但性能上限低（~39）。Anchor Rollout + 静态 Clip 扩展同样不够（~38）。自适应信任域而非简单约束松弛是关键。

发现 3：锚点需要与模型共同进化

• 无重置（静态锚点）：~39（上限受限）
• 重置@160：~43（最佳）
• 周期性重置让锚点随策略进化，避免静态锚点成为性能瓶颈

发现 4：ARMOR 可从退化状态恢复

从退化检查点（Step 200）启动 ARMOR，仍可恢复至 ~40。但从高质量锚点启动达到更高上限（~43）。这意味着 ARMOR 不只是预防，还有修复能力。

发现 5：超参数鲁棒性

在 QAE + Qwen2.5-Math-7B 上测试多种配置（无重置、重置@150、重置@160、独立重跑），全部接近或超过报告峰值 41.58。ARMOR 对超参数选择具有鲁棒性。

4 个人分析

亮点

1. 问题诊断精准：将”训练不稳定”细分为”过优化”（算法性问题）而非”系统不稳定性”，精准定位到 Reverse KL 的结构性而非参数性缺陷——不是”惩罚不够强”而是”惩罚方式错了”

2. 范式转换清晰：从”被动惩罚”到”主动锚定”的概念跃迁具有广泛启发性——在策略偏离时被动施加惩罚 vs 主动注入正确样本防止偏离，前者是亡羊补牢，后者是未雨绸缪

3. 双重机制优雅：Anchor Rollout（稳定性底线）+ Mixed Optimization（探索上限）的分工极为清晰：前者解决”不崩溃”，后者解决”能提升”。消融实验严格验证了两者缺一不可

4. 自适应信任域的理论洞见：式 6 的推导揭示 ARMOR 不只是”放松约束”——它是方向感知的：对正确方向放大步伐，对错误方向收紧约束。这超越了简单的裁剪扩展

5. 通用能力不退化的实证：推理提升 +59 分的同时 GPQA/MMLU-Pro 也提升 +26 分，直接反驳了”推理-通用零和博弈”的担忧

6. 可恢复性：ARMOR 可从退化状态恢复性能，这在工程实践中极为宝贵——不需要从零重训

局限性

1. 仅使用正向锚点：只注入正确样本虽然简化设计，但放弃了从错误中学习的机会。论文承认包含负样本会增加不稳定性，但这可能是因为当前混合优化未充分处理负锚点的信用分配

2. 参考重置策略需手动确定：不同模型需要不同的重置策略（7B 用固定 τ=160，8B 用两阶段策略），且最优策略可能依赖任务和数据分布。缺乏自动化的重置频率选择机制

3. 推理成本增加 ~25%：每个查询需要 4 次参考策略采样（拒绝采样），虽然论文论证代价合理，但对于大规模训练管线仍是非平凡开销

4. 理论保证有限：虽然提供了信任域分析，但缺乏将自适应性与更优收敛性或最优性联系起来的形式化理论保证。混合优化的单调改进保证依赖于参考策略在步内固定，未分析参考重置的理论影响

5. 实验规模有限：仅在 7B 和 8B 两个规模上验证，未测试更大规模（70B+）或 MoE 架构。大规模下的锚点采样成本和混合优化的稳定性有待验证

6. QAE 基线上通用能力回归：QAE + ARMOR 在 GPQA（-1.76）和 MMLU-Pro（-1.15）上有轻微回归，论文归因于 QAE 的零优势掩码机制丢弃锚点样本——这一兼容性问题需要更深入的分析

对大模型领域的影响

对 RLVR 训练范式的直接影响：

ARMOR 是本专栏 RLVR 论证链的最新一环——与 Spurious Rewards（裁剪偏置放大预训练先验）、LPO（GRPO 的几何本质）、RELEX（rank-1 权重轨迹）、STARE（熵坍缩的信用分配错配）、FADE（梯度质量的 m_S/m_F 分解）、UP（非对称优化）、RIPO（黎曼等距裁剪）共同构成 “PPO-Clip/GRPO 裁剪机制有根本性缺陷” 的跨论文论证链。

ARMOR 的独特贡献是稳定性维度：其他论文聚焦”训练效果为何不如预期”（Spurious Rewards/LPO/RELEX）或”训练过程如何更高效”（FADE/STARE/UP/RIPO），ARMOR 聚焦”训练为何会崩溃以及如何稳定地持续训练”——这在大规模后训练的工程实践中是首要问题。

对”被动→主动”范式转换的影响：

Reverse KL 正则化是当前几乎所有 LLM RL 训练管线的标准组件。ARMOR 的”被动惩罚→主动锚定”范式转换如果成立，意味着：

• DAPO/GRPO 的 KL 惩罚项可能应该被替换为锚点采样
• 参考策略不仅是初始化点，还应是持续的训练信号来源
• 过优化的解法不是”更好的惩罚”，而是”不同的约束范式”

5 实践启示

可以借鉴的技术

1. 锚点采样模式：在任何可能发生过优化的 RL 训练中，注入参考策略的正确样本作为训练锚点。具体实施：从最佳检查点采样，拒绝采样筛选 R=1 的响应，混入训练组。成本仅 ~25% 推理增量

2. 混合重要性采样比率：用 π_mix = α·π_θ + (1-α)·π_ref 替代标准 IS 比率，构建自适应信任域。实现极简——只需在 IS 比率计算中用混合策略替代原始策略。α = 0.875~0.9375 是推荐范围

3. 参考策略周期性重置：τ = 160 步（7B）或两阶段策略（8B：前 180 步 τ=1，然后冻结）。核心原则：锚点需要与策略共同进化，静态锚点最终成为瓶颈

4. 从退化状态恢复：ARMOR 可从验证崩溃的检查点恢复——当线上训练出现性能退化时，不需要从零重训，加载最近的最佳检查点作为参考策略，启动 ARMOR 即可恢复

5. 仅正向锚点原则：只注入正确样本，不注入负样本。这简化了设计且被实验验证更有效——错误样本的信用分配问题在当前框架下难以处理

潜在应用场景

1. 大规模后训练管线：当前 DAPO/GRPO 训练常在 100-200 步后出现验证崩溃，ARMOR 可将有效训练窗口延长至 400+ 步，直接提升训练投资回报率

2. 多轮 Agent RL 训练：Agent 任务的长视界特性加剧过优化风险，锚点采样可保留已验证的多步推理模式，避免 Agent 退化到”快速但不可靠”的捷径策略

3. 跨领域持续训练：在数学→代码→科学推理的顺序训练中，ARMOR 的锚点可防止后训练阶段覆盖前训练阶段的有效解题模式——通用能力不退化直接支持此场景

4. 训练监控与自动恢复：结合验证集监控，当检测到训练奖励-验证性能差距扩大时，自动切换到 ARMOR 模式并加载最佳检查点作为参考策略——工程化的自动恢复机制

5. 与 RIPO/UP/STARE 的组合：ARMOR 解决稳定性，RIPO 解决探索几何，UP 解决裁剪结构，STARE 解决熵坍缩——四者正交且互补，理论上可叠加使用构建更鲁棒的 RL 训练管线