精读：One Layer Enough — RL增益集中在1-2层，单层训练超越全参数

1 论文概览

一句话总结

RL后训练的增益在Transformer层间极度集中——仅训练网络中部的一个层，就能恢复全参数训练的全部增益甚至超越之，且该模式跨7个模型、2个模型家族、3种RL算法、多个任务领域惊人一致。

核心问题

当前RL后训练默认均匀更新所有参数，隐含假设”每层对RL增益的贡献相似”。但事实真的如此吗？如果增益实际上集中在极少数层，那我们不仅在浪费计算，还可能因无贡献层的噪声更新损害性能。

主要贡献

1. 定义层贡献度指标 $\mathcal{C}(k)$：量化单层训练恢复全参数RL增益的比例，发现多个层 $\mathcal{C} \geq 1.0$（即单层超越全参数）
2. 揭示中间层集中现象：高贡献层始终位于网络深度40%-60%位置，输入/输出端层贡献极低甚至为负
3. 跨域稳定性证明：层贡献度排序跨数据集（Spearman ρ=0.76）、跨任务（数学vs代码 ρ=0.59）、跨模型家族、跨RL算法保持高度一致
4. 实用训练策略：层自适应学习率提升RL增益43%；仅训练5-10个高贡献层在8B规模上+2.68分；无需profile的启发式中间层选择也能超越全参数基线
5. 层多样性发现：不同层训练出的模型行为高度互补（Jaccard仅34.1%），77层投票33.6%超越全参数自洽性投票31.3%

2 方法详解

层贡献度框架

核心指标定义极其简洁：

$\mathcal{C}(k) = \frac{S_k - S_{base}}{S_{full} - S_{base}}$

其中 $S_k$ 是仅训练第k层后的性能，$S_{base}$ 是基础模型性能，$S_{full}$ 是全参数RL训练后性能。$\mathcal{C}=1.0$ 意味着完全匹配全参数增益，$\mathcal{C}>1.0$ 意味着超越。

关键设计细节：梯度仍通过整个网络反向传播（依赖所有层），但参数更新仅限于第k层。这确保了信息流动的完整性，仅限制了参数更新范围。

实验矩阵的规模

论文在以下7个模型上进行了完整或部分层扫描：

模型	家族	RL算法	任务	扫描
Qwen3-1.7B-Base	Qwen3	GRPO	数学	完整28层
Qwen3-4B-Base	Qwen3	GRPO	数学	完整36层
Qwen3-8B-Base	Qwen3	GRPO	数学	完整36层
Qwen2.5-Math-1.5B	Qwen2.5	Dr.GRPO	数学	完整28层
Qwen2.5-1.5B-Instruct	Qwen2.5	GiGPO	智能体	部分8层
Qwen2.5-3B-Instruct	Qwen2.5	GiGPO	智能体	部分11层
DeepSeek-Distilled-Qwen-7B	Qwen2.5	GRPO	数学	部分8层

公平性保证：所有单层实验使用与全参数基线相同的学习率、batch size、KL系数、clip范围和训练步数。附录消融证实调整学习率不改变层贡献度排序。

关键创新点

与现有”层重要性”研究（如LISA、AdaGradSelect等SFT层采样方法）的关键区别：

1. 聚焦RL而非SFT：SFT层采样关注训练效率，本文关注RL增益的结构性集中
2. 跨域一致性验证：首次系统证明层贡献度是预训练模型的内在属性
3. 实用性导向：从诊断到行动——提出三类层感知训练策略，均有实证支撑

与基线方法的区别

传统方法默认全参数均匀更新。本文提出的三个渐进策略：

• Boost：高贡献层使用2倍学习率，其余层不变 → 占RL总增益43%
• Only：仅训练top-k高贡献层，其余冻结 → 8B规模+2.68分
• 启发式：无需profile，直接训练中间k层 → 同样超越全参数

3 实验结果

主要指标

核心指标是层贡献度 $\mathcal{C}(k)$ 及其在数学推理12个基准上的平均表现。

与SOTA的对比

单层训练 vs 全参数训练

所有7个模型均观察到 $\mathcal{C}_{max} \geq 1.0$，即单层训练匹配或超越全参数：

模型	最佳层	$\mathcal{C}_{max}$	最差层	$\mathcal{C}_{min}$
Qwen3-1.7B	Layer 10	1.14	Layer 24	0.28
Qwen3-4B	Layer 16	1.06	Layer 2	0.66
Qwen3-8B	Layer 16	1.07	Layer 0	-0.51
Qwen2.5-Math-1.5B	Layer 14	1.01	Layer 23	0.42
Qwen2.5-1.5B-Instruct	Layer 14	1.02	Layer 24	0.25
DeepSeek-Distilled-Qwen-7B	Layer 16	1.05	Layer 24	0.33

“Training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it.” — 论文摘要

特别值得注意的是 Qwen3-8B-Base Layer 0 贡献度为 -0.51——训练该层反而降低数学性能，说明并非”不贡献”而是”有害”。

层感知训练策略 vs 全参数基线

策略	模型	全参数	层感知	提升
Boost B10	Qwen3-1.7B	50.82	53.70	+2.88（占RL增益43%）
Boost B10	Qwen3-4B	62.97	64.42	+1.45
Only B10	Qwen3-8B	66.43	69.11	+2.68（占RL增益32%）
启发式中间层	Qwen3-4B	62.97	64.80	+1.83

层多样性投票

在OlympiadBench上，Qwen3-1.7B-Base：

方法	准确率
全参数基线（单次）	26.9%
最佳单层模型	28.3%
全参数77次自洽性投票	31.3%
77个层训练模型投票	33.6%

“Layer diversity is more effective than sampling diversity. Structural diversity (different layers) > sampling randomness.”

消融实验关键发现

1. 权重变化幅度 ≠ 层贡献度：全参数训练下各层权重变化幅度相对均匀（0.5-0.8），但贡献度极度不均匀。这意味着”贡献”不是由”改了多少”决定的，而是由”改的方向是否有效”决定的。

2. 跨数据集稳定性：NuminaMath-CoT vs DeepScaleR（均为数学）Spearman ρ=0.76；NuminaMath-CoT vs DeepCoder（数学vs代码）ρ=0.59。层贡献度排序是模型的内在属性。

3. 学习率消融：附录A.7证明，即使为每层单独调优学习率，层贡献度排序不变。高贡献层无论学习率如何设置都是高贡献层。

4. Boost低贡献层有害：将学习率提升施加于最差10层（Boost Wk）导致性能下降，证明改进确实源于贡献度引导。

4 个人分析

亮点

1. 实验设计堪称教科书级别

7个模型×完整层扫描×公平对比协议×跨域验证×消融闭环——在LLM研究中，这种系统性和严谨性相当罕见。特别是”公平比较协议”（相同超参、仅改变更新范围）排除了大量混淆变量。

2. 反直觉的核心发现

全参数训练所有层都在变，但只有中间1-2层在”做有用的事”。其余层的更新要么无效（贡献度≈0），要么有害（$\mathcal{C}<0$）。这直接挑战了”全参数微调是必要且最优的”这一行业默认假设。

3. 与Tapered Language Models的深度呼应

Tapered LMs发现后期层MLP输出与残差流高度对齐——“重复而非创新”。本文发现输出端层对RL增益贡献极低甚至为负，两种完全不同的方法论（架构设计vs层贡献度分析）指向同一个结论：Transformer后半段是冗余的”回声室”。

4. 层多样性是意外之喜

不同层训练出的模型仅共享34.1%的解决问题（Jaccard），77层投票超越自洽性投票。这暗示每个层编码了不同的”推理策略子空间”，而全参数训练在梯度聚合时抹平了这种多样性。

局限性

1. 缺乏理论解释——为什么是中间层？

论文坦诚承认”为什么中间层对RL适应特别重要仍是开放问题”。几个可能的解释方向：

• 中间层可能编码了”抽象推理表征”（低层编码语法/模式，高层编码任务特定行为，中间层编码通用推理策略）
• 信息瓶颈理论：中间层位于特征提取和决策输出的过渡区，可能是RL信号最能有效塑造表征的位置
• 但这些都需要后续验证

2. 仅在Qwen家族验证

7个模型中有6个基于Qwen架构。虽然覆盖了2个家族（Qwen3/Qwen2.5），但Llama、Mistral、Gemma等架构是否呈现相同模式尚不清楚。不同预训练策略可能产生不同的层贡献度分布。

3. 引导策略仅在数学任务验证

Boost/Only/启发式策略的有效性仅在数学推理基准上验证。代码生成和智能体任务的引导效果留待未来工作。考虑到层贡献度排序跨任务一致（ρ=0.59），迁移到其他任务的可能性较高但未证实。

4. 层贡献度指标依赖于基线配置

$\mathcal{C}(k)$ 的定义依赖于 $S_{full}$（全参数RL的性能），而后者受训练配置影响。不同训练步数、学习率、KL系数可能产生不同的 $S_{full}$，从而改变 $\mathcal{C}$ 的绝对值（尽管论文证明了排序稳定）。

对大模型领域的影响

1. 对RLVR理解的范式级深化

本文与RELEX（rank-1轨迹）、Sparse Policy Selection（1-3%高熵决策）、Spurious Rewards（裁剪偏置放大先验）共同构成六维论证链：

维度	论文	核心发现
token级	Sparse Policy Selection	仅1-3%决策点被校正
参数级	RELEX	rank-1近似捕获全部增益
层级	本文	1-2层捕获全部RL增益
奖励级	Spurious Rewards	随机奖励≈真实奖励
梯度级	FADE	正负梯度质量的三大权衡
策略级	LPO	GRPO是目标投影的一阶近似

统一直觉：RLVR的实际作用远比训练流程暗示的更简单、更局部、更可预测。

2. 训练效率的直接提升

仅训练5-10层即可超越全参数训练，这意味着：

• 训练时显存占用大幅降低（冻结层的优化器状态不需要存储）
• 梯度计算量减少（反向传播仍需完整计算，但优化器步骤仅应用于少量层）
• 过拟合风险降低（更少的可训练参数）

3. 对模型部署的启示

如果RL适应主要集中在中间层，那么：

• 推理时是否可以为不同任务加载不同的中间层权重（“层插拔”）？
• 这与LoRA的思路一致，但提供了更精确的层选择指导
• 多任务RL训练可能需要关注层间冲突

5 实践启示

可以借鉴的技术

1. 层贡献度Profile流程

对于新模型/新任务的RL训练，建议先进行轻量级层贡献度profile：

• 选择2-3个代表性层（前1/4、中间1/2、后3/4位置）进行单层训练
• 根据贡献度决定全量训练的策略（Boost or Only）
• 论文表明仅需5-10层的高贡献层即可超越全参数

2. 无Profile的启发式层选择

如果无法进行层profile，直接选择网络深度40%-60%范围的层进行训练。在三个Qwen3规模上均有效，且无需任何额外分析步骤。

3. 层多样性集成

不同于传统的采样多样性（多次采样同一模型），利用不同层的训练模型进行投票。论文显示结构多样性比采样随机性更有效（33.6% vs 31.3%），且各层训练成本远低于完整RL训练。

潜在应用场景

1. 大规模RL训练的效率优化

在数百亿参数模型的RL后训练中，仅训练5-10层可节省大量显存和计算。特别是优化器状态（Adam需要2倍参数量的状态）的节省非常可观。

2. 多任务持续学习

不同任务可能需要更新不同的中间层。通过层贡献度分析，可以为每个任务设计非冲突的层更新策略，减少灾难性遗忘。

3. 边缘设备上的RL适配

在资源受限环境中，仅更新单个中间层即可实现有效适配，极大降低了RL后训练的硬件门槛。

4. 模型编辑与安全对齐

如果需要修正特定行为（如去除偏见），定向更新高贡献层可能比全参数更新更精准、更可控，减少对其他能力的影响。

---

与前期论文的对话链：本文是”RLVR实际机制远比想象中浅薄”论证链的最新一环。从token级（Sparse Policy Selection: 1-3%决策点）、参数级（RELEX: rank-1轨迹）、到现在的层级（本文: 1-2层），三个维度共同指向同一个结论——RLVR不是在”教”模型新能力，而是在极少数关键维度上做微调。这一发现对如何设计更高效的RL训练流程、如何理解RLVR的本质、以及如何避免过度训练带来的多样性损失，都有深远影响。