论文精读

精读：RELEX——Rank-1轨迹外推让RLVR训练成本降至15%

揭示RLVR权重轨迹极低秩且近线性可预测，仅需15%训练步数即可外推匹配或超越完整RLVR性能

论文： You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

作者： Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

2026年5月21日 RLVR 低秩结构权重外推推理训练缩放定律 GRPO 参数几何训练加速

1 论文概览

一句话总结：RLVR训练的权重变化轨迹惊人地低秩且近线性可预测——每个权重张量的rank-1近似即可捕获几乎全部性能增益，其标量系数沿训练步数线性演化；由此提出的RELEX方法仅需15%训练步数即可外推至完整RLVR检查点甚至更远，且性能匹配或超越完整训练。

核心问题：RLVR训练极其昂贵（中等规模模型也需数天GPU时间），能否从早期训练动态预测训练走向，从而跳过大量冗余计算？

主要贡献：

发现RLVR权重轨迹的极低秩结构：每个权重张量的rank-1 SVD分量即解释了绝大部分任务相关参数变化，高阶分量主要是随机优化噪声
揭示rank-1系数的近线性演化规律：将参数增量投影到rank-1子空间后，标量系数 $c_t$ 与训练步数的线性拟合 $R^2 > 0.98$ ，为线性外推提供了坚实实证基础
提出RELEX方法：轨迹级rank-1 SVD + 闭式线性外推，无可学习参数，成本相对于RLVR训练可忽略不计
实证超越完整RLVR：三个模型（1.5B/4B/8B）上，RELEX用15-20%步数在域内匹配RLVR，域外平均甚至超越（如Qwen2.5-Math-1.5B OOD平均30.0% vs RLVR的28.4%）
揭示”去噪”效应：rank-1投影的本质是光谱低通滤波——保留平滑、单调的任务信号，丢弃嘈杂的高频噪声

2 方法详解

架构/方法概述

RELEX的核心洞察源自对RLVR训练过程的几何分析。给定RLVR检查点序列 $\{\theta_0, \theta_1, \ldots, \theta_T\}$ ，作者首先定义参数增量 $\Delta\theta_t = \theta_t - \theta_0$ ，然后对每个权重张量展平增量并堆叠为轨迹矩阵 $\mathbf{M}^{(\ell)} \in \mathbb{R}^{T \times d}$ 。

SVD分解 $\mathbf{M} = \mathbf{U}\boldsymbol{\Sigma}\mathbf{V}^\top$ 将轨迹干净地分离为两个正交维度：

子空间 $\mathbf{V}$ ：参数变化的方向（“去哪里”）
系数 $\mathbf{C} = \mathbf{U}\boldsymbol{\Sigma}$ ：该方向上的时间动态（“何时及多少”）

这一分解使方向和幅度可以独立分析和预测，是整个方法的理论基石。

RELEX的三步算法极为简洁：

Step 1 — Rank-1子空间估计：在观察窗口 $[1, T_{\text{cut}}]$ 内，对每个张量的轨迹矩阵做截断SVD，提取顶部右奇异向量 $\mathbf{v}_1^{(\ell)}$ ，定义参数变化的主导方向。

Step 2 — 线性系数外推：将每个观察到的增量投影到rank-1方向，得到标量系数轨迹 $c_t^{(\ell)} = \langle \text{flatten}(\Delta\theta_t^{(\ell)}), \mathbf{v}_1^{(\ell)} \rangle$ ，然后拟合线性函数 $c(t) = at + b$ （闭式最小二乘解），外推到目标步数 $T$ 。

Step 3 — 预测未来权重： $\hat{W}_T^{(\ell)} = W_0^{(\ell)} + \hat{c}_T^{(\ell)} \cdot \mathbf{v}_1^{(\ell)}$ ，组装所有张量得到完整预测检查点。

“RELEX requires only one truncated SVD per weight tensor (retaining only the top singular vector) plus a two-parameter least-squares fit — both closed-form solutions whose cost is negligible relative to RLVR training itself.” — 原文摘要与方法部分

关键创新点

1. 轨迹级SVD vs 逐检查点SVD

这是RELEX区别于AlphaRL的核心设计。AlphaRL在每个早期检查点独立计算SVD，rank-1基可能跨轨迹旋转；RELEX在整个观察窗口上执行单次逐张量轨迹SVD，产生共享的rank-1基 $\mathbf{v}_1$ 。共享基确保标量系数沿同一方向近线性演化，而非在旋转坐标系中震荡。

2. 光谱去噪效应

Rank-1投影不仅是降维——它本质上是光谱低通滤波。实验显示，对于代表性张量（layer 14 gate_proj），Component 1单独解释81.4%方差且近线性平滑演化，而Components 2-5合计仅解释18.6%且动态嘈杂。在原始权重空间中外推会重新引入噪声分量并在长视距下放大为漂移；而rank-1投影保留稳定信号、丢弃噪声。

3. 闭式线性外推的极简充分性

消融实验证明：增加子空间秩到5或10反而降低性能；3阶多项式在观察窗口外灾难性崩溃（step 200降至17.8%，之后近乎0%）；3层Transformer预测器与线性竞争力相当但无一致优势。线性外推因闭式解、无可学习参数、实证线性观察而成为默认选择。

与基线方法的区别

方法	操作空间	外推格式	使用信息	核心局限
ExPO	原始权重	$\theta_{T_{\text{cut}}} + \alpha(\theta_{T_{\text{cut}}} - \theta_0)$	2个端点	仅用2点，对增量噪声敏感
Weight Extrap.	原始权重	2点线性外推	2个端点	原始空间噪声放大
Logits Extrap.	输出logits	2点线性外推	2个端点	不改变权重，效果有限
AlphaRL	逐检查点rank-1	PLS回归预测	独立SVD	基向量旋转不稳定
RELEX	轨迹级rank-1	OLS线性外推	共享SVD	观察窗口需逐模型调

关键区别在于：RELEX在SVD空间而非原始权重空间操作，且使用轨迹级共享基而非逐检查点独立基。前者滤除噪声，后者确保方向稳定。

3 实验结果

主要指标

实验覆盖三个模型（Qwen2.5-Math-1.5B、Qwen3-4B-Base、Qwen3-8B-Base），6个基准（MATH域内 + 5个OOD），训练使用GRPO算法，8×H200 GPUs，500步全训练。

与 SOTA 的对比

Qwen2.5-Math-1.5B（RELEX成本：15%）

方法	MATH	AIME25	AIME26	HMMT25	OlympBench	AMC23	平均
Base	48.2	4.2	5.0	0.8	23.2	33.1	19.1
RLVR (100%)	71.5	4.6	7.9	0.4	31.5	54.4	28.4
RELEX (15%)	71.6	8.8	10.0	2.1	31.4	56.2	30.0

RELEX在MATH上略超RLVR（71.6% vs 71.5%），OOD平均显著超越（30.0% vs 28.4%），5个OOD基准中4个优于RLVR。

Qwen3-4B-Base（RELEX成本：15%）

方法	MATH	AIME25	AIME26	HMMT25	OlympBench	AMC23	平均
RLVR (100%)	85.5	23.8	23.8	10.0	46.6	64.1	42.3
RELEX (15%)	85.6	23.8	19.2	14.6	47.4	67.2	43.0

MATH略超，HMMT25大幅领先（14.6% vs 10.0%），AMC23领先3.1个百分点。

Qwen3-8B-Base（RELEX成本：20%）

方法	MATH	AIME25	AIME26	HMMT25	OlympBench	AMC23	平均
RLVR (100%)	88.5	29.2	25.4	16.3	49.5	73.8	47.1
RELEX (20%)	87.4	27.5	24.6	15.4	49.6	72.8	46.2

最大模型上差距仅0.9%平均，OlympBench甚至微超。

消融实验关键发现

1. Rank-1即充分（增加秩反而有害）

变体	Step 500 MATH
Rank-1	71.6
Rank-5	70.6
Rank-10	70.5

增加子空间秩到5或10，性能反而下降。高阶分量太不稳定，不适合外推。

2. 多项式灾难性崩溃

变体	Step 100	Step 200	Step 300	Step 500
Linear	67.8	70.0	70.1	71.6
Polynomial (3阶)	66.9	17.8	0.2	0.1

多项式在观察窗口外灾难性崩溃——step 200即从66.9%暴跌至17.8%，之后近乎0%。这强烈警示：过拟合观察窗口内微小非线性的代价是窗口外的毁灭性泛化失败。

3. 长期外推可达10-20倍窗口

在Qwen2.5-Math-1.5B上， $T_{\text{cut}}=125$ 外推到step 750达到71.7%（超过RLVR的71.5%），step 1000仍保持71.6%。仅观察前125步（25%），即可外推至1000步（原始训练的2倍）并保持超越RLVR的性能。

4. OOD泛化优于完整RLVR

这可能是最反直觉的发现。外推检查点在原始权重空间中偏离了真实RLVR轨迹（方向相似度从0.72衰减至0.35，幅度比从1.26增长至2.70），但下游任务性能反而更好。这证明rank-1投影捕获的是任务相关的核心信号，而漂移的部分主要是任务无关的噪声——“去噪”效应在OOD场景中尤为显著。

4 个人分析

亮点

1. 几何洞见的范式价值

“RLVR训练的权重变化是极低秩的”这一发现，与近期Sparse Policy Selection（仅1-3% token受影响）和Spurious Rewards（RLVR本质是放大预训练先验）形成三重印证，共同指向一个深刻结论：我们对RLVR机制的理解远比想象中浅薄。RLVR看似复杂的训练过程，在参数几何层面呈现出惊人简单的结构——一个方向、一个线性系数、一个闭式解。

2. 去噪效应的优雅解释

RELEX超越完整RLVR的OOD性能，揭示了一个微妙但重要的机制：完整RLVR训练中的随机优化噪声虽然不影响训练集性能，但在OOD场景中会产生过拟合效应。Rank-1投影通过丢弃这些噪声分量，反而获得了更好的泛化能力。这为理解”为什么简单模型有时优于复杂模型”提供了一个具体案例。

3. 方法论的极简主义哲学

整个方法的核心是”两个闭式解”——一次SVD + 一次最小二乘拟合。没有超参数搜索、没有学习率调度、没有网络架构设计。这种极简主义在当前”更复杂=更好”的潮流中是一股清流，也再次证明了理解问题本质比堆砌方法更重要。

4. 线性外推 vs 非线性建模的实证裁决

3阶多项式的灾难性崩溃和Transformer预测器的无显著优势，共同构成了对”线性假设”的强力实证支撑。这不是理论假设——这是数据说话。Rank-1系数的 $R^2 > 0.98$ 说明线性性是RLVR训练的内禀属性，而非粗略近似。

局限性

1. 模型和算法泛化性未验证

所有实验仅覆盖Qwen系列模型和GRPO算法。Llama、Mistral等不同架构是否呈现同样的低秩线性结构？PPO、ReMax等其他RL算法是否有同样的轨迹可预测性？这些关键问题尚无答案。特别是，不同模型族的预训练动态可能塑造不同的RLVR轨迹几何。

2. 观察窗口选择的敏感性

$T_{\text{cut}}$ 的最佳选择因模型而异且缺乏原则性指导：Qwen2.5-Math-1.5B受益于更长前缀，Qwen3-4B反而更短窗口更好。这种不一致性暗示rank-1子空间本身可能在不同训练阶段发生旋转，而RELEX假设子空间在观察窗口内稳定。缺乏自适应窗口选择机制是一个实际瓶颈。

3. 仅限数学推理

所有评估仅覆盖数学推理基准。代码生成、多跳推理、工具使用等不同任务形式是否同样呈现低秩线性轨迹？不同任务形式的”有效秩”是否不同？这直接影响RELEX的通用性。

4. 外推稳定性的模型规模依赖

Qwen3-4B-Base在step 750之后精度显著下降，Qwen3-8B-Base在小观察窗口下step 1000崩溃至22.7%（ $T_{\text{cut}}=50$ ）。这表明外推稳定性与模型规模和观察窗口存在非平凡交互，简单的”更长窗口=更好”并不成立。

对大模型领域的影响

1. RLVR训练范式的效率革命

如果RELEX的发现被更广泛验证，RLVR训练的经济学将被根本性改写：当前需要8×H200数天的训练，可能仅需1-2天观察 + 分钟级外推即可获得同等甚至更好的检查点。这对资源受限的研究者和企业具有革命性意义。

2. RLVR理论理解的推进

Rank-1线性结构与RL’s Razor（在线RL隐式偏向KL最小化解）的理论预测高度一致。这暗示RLVR的低秩可预测性可能不是经验巧合，而是优化动力学内禀属性的涌现——一个值得深入理论探索的方向。

3. 与RLVR机制系列论文的范式级收敛

将RELEX与近期RLVR系列论文并列审视，一个统一的图景浮现：

论文	核心发现	共同指向
Sparse Policy Selection	仅1-3% token被修改	RLVR的”有效足迹”极稀疏
Spurious Rewards	裁剪偏置放大预训练先验	RLVR不教新能力
LPO	GRPO是单纯形上的近似目标投影	RLVR的几何本质比表面复杂
RL Unlocks Parametric Knowledge	RL重分配概率质量	RLVR改分布不创知识
RELEX	Rank-1线性即充分	RLVR的有效参数空间极低维

五篇论文从token级、奖励级、几何级、知识级、参数级五个维度，一致指向同一结论：RLVR的实际作用远比其训练流程暗示的更简单、更局部、更可预测。这不仅是效率优化的机会，更是对整个RLVR研究范式的根本性重新审视。

4. 模型部署流程的重构

RELEX使得”训练-评估-决策”循环可以大幅加速：先用15%步数观察训练动态，用RELEX外推多个候选检查点，评估后选择性继续训练或直接采用外推结果。这种”预测-验证”范式可能取代当前的”训练-等待”范式。

5 实践启示

可以借鉴的技术

1. 轨迹级SVD分析作为训练诊断工具

不必等到训练完成再评估。在训练早期（15-20%步数），对权重增量做轨迹级SVD分析：

如果rank-1系数线性度高（ $R^2 > 0.95$ ），说明训练方向稳定，可考虑RELEX外推加速
如果rank-1系数波动大，说明训练尚在探索阶段，需要更多观察
如果高阶分量方差占比异常高，可能暗示训练不稳定或学习率设置不当

2. Rank-1投影作为正则化手段

RELEX的”去噪”效应可直接用于正则化：在正常RLVR训练中，周期性地将检查点投影到其rank-1子空间并重新加载，可以抑制优化噪声的累积。这类似于一种”软早停”——在权重层面而非损失层面进行噪声过滤。

3. 观察窗口自适应选择策略

基于本文发现的观察窗口敏感性，可以设计自适应策略：

监控rank-1系数的线性度：当 $R^2$ 达到阈值时开始外推
监控奇异值间隔（ $\sigma_1 / \sigma_2$ ）：间隔越大，rank-1假设越可靠
渐进式外推：先外推短距离验证，再逐步延伸

4. 跨检查点线性插值用于模型选择

Rank-1系数的近线性演化意味着，可以在任意两个检查点之间精确插值（而非简单的权重平均），获得连续的性能梯度。这为模型选择提供了更精细的控制——不再受限于离散的保存检查点。

潜在应用场景

1. 大规模RLVR训练的快速原型验证

在启动大规模RLVR训练前，先用15%步数 + RELEX外推验证训练配置的有效性。如果外推结果不佳，可以提前终止、调整配置，避免浪费完整训练的GPU时间。

2. 资源受限场景的RLVR训练加速

对于学术研究者或中小企业，无法承担完整RLVR训练成本。RELEX提供了”用15%的成本获得100%+效果”的实用路径，大幅降低RLVR应用门槛。

3. 持续学习中的快速适应

当需要对已RLVR训练的模型做增量训练（如新任务域），先用少量步数观察新域的rank-1方向是否与旧域一致。如果不一致，说明新域需要独立训练；如果一致，可以快速外推。

4. 训练预算优化决策

在有限的GPU时间预算下，RELEX的长期外推能力（10-20倍窗口）意味着可以选择”更多模型 × 更少步数 + RELEX外推”而非”更少模型 × 完整训练”的策略，在模型多样性上获得更大收益。