精读：STEER——从 Token 级熵变重新理解 RLVR 熵坍缩

1 论文概览

一句话总结：从 token 级熵变的解析近似出发，推导出四个控制因素和四象限分类，揭示现有熵干预方法的根本局限，提出 STEER 方法实现精细化熵调控——获 ACL 2026 Outstanding Paper Award。

核心问题：RLVR 训练中策略熵快速下降（熵坍缩），导致模型输出同质化、采样路径变窄、训练停滞。现有的启发式熵干预方法（Clip-Higher、Positive-Reweighting、Entropy-Aware Advantage 等）为什么只能在局部缓解而非根治这个问题？

主要贡献：

1. Token 级熵变解析近似（Theorem 1）：推导出每次参数更新对每个 token 熵变化的紧致解析表达式，揭示四个控制因素——裁剪指示器、优势信号、token 生成概率、条件熵
2. 四象限理论框架：在 (Advantage, π_θ) 空间上将 token 更新分为四个象限，熵坍缩的本质是第 I、III 象限（熵减少）持续压倒第 II、IV 象限（熵增加）
3. 现有方法的统一解释与根本局限：将 DAPO/Clip-Higher、Positive-Reweighting、Entropy-Aware Advantage 等方法重新解释为对四因素中个别因素的粗粒度调整，揭示它们只干预了部分因素的根本缺陷
4. STEER 方法：基于理论估计的熵变化对 token 自适应重加权，对剧烈熵衰减的 token 降权，实现精细化 token 级熵调控
5. 全面实验验证：6 个数学推理基准 + 3 个编程基准，跨模型族（Qwen/Llama/Mistral）、跨规模（1.5B-14B）、跨算法（GRPO/RLOO/OPO）均稳定提升

2 方法详解

架构/方法概述

STEER 的核心思路极为简洁：不是在全局上调熵，而是直接控制每个 token 的熵变幅度。

传统 RLVR 训练中，每次参数更新对策略熵的影响可以看作所有 token 熵变化的累积。如果某些 token 的更新导致熵急剧下降（而其他 token 的熵增加不足以补偿），整体策略熵就会坍缩。STEER 的做法是：

1. 利用 Theorem 1 的解析公式估计每个 token 在当前更新中会带来多大的熵变化 Ω(s)
2. 将 |Ω(s)| 转化为自适应缩放权重 λ(s) = exp(-α · |Ω(s)| / max|Ω(s)|)
3. 对熵变化过大的 token 降低其学习权重，对熵变化温和的 token 保留原有信号

关键创新点

创新点 1：Token 级熵变的解析近似

Theorem 1 给出了 token 级熵变化 ΔH(s) 的紧致解析近似：

ΔH(s) ≈ -lr · ℓ_norm · 𝕀_clip · A(s) · π_old(s) · δ(π_θ(s), H(s))

其中 δ(π_θ, H) = -π_θ(1-π_θ)[log(π_θ) + H(s)] 刻画了 token 生成概率与条件熵的联合贡献。

这一公式的精妙之处在于，它将原本难以捉摸的”训练怎么改变了熵”拆解为四个可独立分析的因素。每个因素都有明确的物理意义：

• 裁剪指示器 𝕀_clip：该 token 的更新是否被重要性采样比率的裁剪截断。截断意味着更新被限制，熵变化也相应受限
• 优势信号 A(s)：正优势意味着奖励该 token（熵变化方向取决于 δ），负优势意味着惩罚
• 旧策略概率 π_old(s)：高概率 token 的更新对熵有更大的杠杆效应
• δ(π_θ, H(s))：token 当前概率与条件熵的交互项，决定了熵变化的方向

创新点 2：四象限分类

根据 (A, π_θ) 空间，token 级熵变化自然分为四个象限：

象限	条件	熵变化	直觉解释
I	A>0, π_θ 高	↓ 减少	开发：奖励高概率正确 token，集中概率质量
II	A>0, π_θ 低	↑ 增加	探索：奖励稀有但正确的推理路径
III	A<0, π_θ 低	↓ 减少	抑制：惩罚稀有错误行为
IV	A<0, π_θ 高	↑ 增加	纠错：惩罚过度自信的错误，鼓励寻找替代方案

熵坍缩的本质是第 I、III 象限（熵减少）持续压倒第 II、IV 象限（熵增加）。

这一框架的价值在于：它把”熵为什么会坍缩”从模糊的直觉变成了精确的归因——你可以指出是哪个象限的 token 在主导训练动态。

创新点 3：现有方法的统一解释

论文用四因素框架重新解释了三种主流熵干预方法：

• DAPO/Clip-Higher：提高裁剪上限 ε_high，让更多低概率但正确的 token（第 II 象限）参与更新。但它只改变了裁剪指示器这一个因素，其余三个因素完全不受控制
• Positive-Reweighting：降低高概率正样本 token 的权重，减少第 I 象限对熵的压缩。但它只围绕正样本设计，负样本中第 III/IV 象限的熵动态完全被忽略
• Entropy-Aware Advantage：给高熵 token 更大的 advantage，但这只改变优势信号的大小，不保证方向——如果高熵 token 正处在降熵方向（第 I/III 象限），放大它们反而加速熵坍缩

现有方法的根本局限：它们只对四个因素中的一两个做启发式调整，其余因素不受控，因此对熵动态的控制是粗粒度的。

与基线方法的区别

方法	控制粒度	控制因素	理论根基
DAPO/Clip-Higher	全局	仅裁剪阈值	启发式
Positive-Reweighting	正样本子集	仅优势权重	启发式
Entropy-Aware Advantage	高熵 token 子集	仅优势大小	启发式
Entropy Loss	全局	仅熵正则项	启发式
Clip-Cov	全局	裁剪+覆盖度	启发式
STEER	Token 级	四因素联合	解析近似

STEER 的本质区别在于：它不依赖任何启发式规则，而是直接从理论公式计算每个 token 的预期熵变化，并据此调节权重。这实现了从”盲调”到”精准调控”的范式转换。

3 实验结果

主要指标

数学推理（Qwen2.5-Math-7B + GRPO）：

方法	AIME24	AIME25	AMC23	MATH500	Minerva	Olympiad	平均
GRPO	28.0	14.3	66.2	78.6	37.3	40.9	44.2
OPO	32.2	13.4	71.5	82.2	38.2	41.0	46.4
Clip-Cov	32.5	12.9	68.4	78.0	40.8	41.3	45.7
STEER	36.2	16.1	72.1	82.2	41.7	43.0	48.6

STEER 在全部 6 个数据集上超越所有基线，平均比第二名 OPO 高 2.2 分。

编程任务（3B/7B/14B）：

基准	规模	GRPO	STEER	提升
Internal Code Edit	14B	42.6	45.1	+2.5
LiveCodeBench v5	14B	29.3	31.8	+2.5
Zeta	7B	22.0	24.0	+2.0

STEER 在每个模型规模和测试集上均优于 GRPO 至少 1%。

与 SOTA 的对比

Pass@k 性能：STEER 在 Pass@256/512/1024 上均取得最佳表现，证明其通过显式调控熵保留了足够的探索能力——不只是让单次采样更准，而是让多次采样更多样。

极端场景：在 ε_high=5, ε_low=0.99（几乎无裁剪约束）的极端设置下，GRPO 和 Entropy-Aware Advantage 趋于熵坍缩，Entropy Loss 导致熵过度上升，而 STEER 在初始下降后稳定并保持稳定熵，平均 48.5% 显著优于次优的 46.0%。

消融实验关键发现

1. 四因素缺一不可：移除任何单一因素的估计都会导致性能下降，证明四个因素的联合控制是必要的
2. λ_min 的鲁棒性：STEER 的核心超参数 λ_min（最小权重，论文默认 0.7）在 0.5-0.9 范围内性能波动<1 分，说明方法对超参数不敏感
3. 跨模型族泛化：在 Llama-3.2-3B 和 Mistral-7B 上同样有效，不依赖特定架构
4. 跨算法泛化：在 RLOO（平均 45.8→46.8）和 OPO（46.4→47.5）上均可叠加提升
5. 熵变化估计的必要性：用随机权重替代理论估计的 Ω(s) 会导致性能退化，证明理论驱动的权重设计是关键

4 个人分析

亮点

1. 从”症状”到”病因”的诊断跃迁

此前，熵坍缩主要被视为一个需要”压制”的表面症状——调高裁剪阈值、加熵正则项、重加权正样本，都是在现象层面打补丁。STEER 论文通过 Theorem 1 把熵坍缩拆解到了 token 级的因果归因：不是”熵在下降”，而是”第 I/III 象限的 token 在系统性地压倒第 II/IV 象限”。这一诊断跃迁的意义类似于从”发烧要退烧”到”找到感染灶”——只有知道了病因，才能精准用药。

2. 四象限框架的统一解释力

这一框架不仅解释了熵坍缩，还统一解释了所有现有方法的”为什么部分有效”和”为什么不够”：

• DAPO 放开了第 II 象限的 token → 有效但只动了裁剪这一个旋钮
• Positive-Reweighting 减弱了第 I 象限 → 有效但忽略了负样本
• Entropy-Aware Advantage 放大了高熵 token → 但高熵 token 不一定在第 II 象限，可能反而在第 I 象限

这种”一个框架解释所有方法”的能力，是理论深度的标志。

3. 与本专栏 RLVR 论证链的精确对接

STEER 的四象限框架与本专栏此前追踪的 RLVR 论证链形成精确对话：

• STARE（四象限分解 + 近临界性）→ STEER 在不同的分解维度上（惊奇度 × 优势 vs 概率 × 优势）做了类似的精细化分析，但 STEER 的分解直接服务于熵调控
• FADE（m_S/m_F 梯度质量分解）→ STEER 的四象限可以看作 FADE 的”熵视角”补充
• UP（非对称优化）→ STEER 提供了 UP”为什么正优势不该裁剪”的熵动力学解释
• Spurious Rewards → 如果伪奖励使第 I 象限的 token 异常增多，熵坍缩就更容易发生

4. 工程极简性

STEER 的实现极其轻量：仅需额外计算 Ω(s)（一次前向传播即可获得所有输入），权重公式是一个指数函数。论文中 λ_min = 0.7 一个值覆盖所有实验设置，说明方法足够鲁棒以至于几乎不需要调参。

局限性

1. 一阶近似的精度边界

Theorem 1 是对熵变化的一阶泰勒展开近似。在策略更新幅度较大时（例如学习率较高或裁剪范围较宽），高阶项可能变得不可忽略。论文在极端裁剪设置下的实验表明 STEER 仍然有效，但理论上并未给出一阶近似失效的精确边界。

2. 仅分析裁剪型策略梯度

论文的分析框架主要针对 PPO/GRPO 类裁剪型策略梯度方法。对于 REINFORCE、SAC 等非裁剪型算法，四因素分解是否仍然成立、STEER 是否仍然适用，论文未做讨论。不过考虑到当前 RLVR 主流方法都是裁剪型，这一局限的实际影响有限。

3. 单 token 独立性假设

熵变化公式假设每个 token 的更新是独立的，但实际中相邻 token 的策略更新存在强耦合。论文通过实验证明了方法的有效性，但理论框架中缺少对 token 间交互的显式建模。

4. 熵稳定性 ≠ 推理质量

STEER 保证策略熵不坍缩，但”保持探索”和”推理得更好”之间并非等号。在某些场景下，熵的适度下降可能是训练收敛的自然信号，强制维持高熵可能阻碍模型利用已发现的有效推理路径。论文通过 Pass@k 实验间接回答了这一点（更多样的采样确实带来更好的 pass@k），但对”最优熵水平”这一更深层的问题没有讨论。

对大模型领域的影响

1. 确立 token 级分析作为 RLVR 训练动力学研究的基本单位

此前对 RLVR 训练动力学的分析多停留在 batch 级或 trajectory 级（如 FADE 的 m_S/m_F、STARE 的四象限）。STEER 将分析粒度推到了 token 级，这不仅是精度的提升，更开启了新的研究范式：对训练过程的任何干预，都可以在 token 级精确追溯其熵效应。

2. 为”开环→闭环”训练范式提供基础设施

PIRL/PIPO 提出了 RLVR 训练的”开环困境”——算法只看当前批次信号，不验证更新是否真正带来策略提升。STEER 的 token 级熵变估计恰好可以作为 PIRL 所需的”策略提升反馈信号”的基础设施：不仅知道”整体熵变了多少”，还能知道”哪些 token 的熵变化最大”——这比 PIRL 当前的 batch 级验证提供了更精细的信号。

3. 对工业 RLVR 训练的直接工程价值

熵坍缩是工业 RLVR 训练中最大的实践痛点之一。STEER 的极简实现（一个超参数、零额外推理开销、即插即用）使其可以直接集成到现有训练流水线中。特别是在大规模 MoE 模型的 RLVR 训练中（如 Ring-Zero 在万亿参数上的实践），熵坍缩问题更加严重，STEER 的 token 级调控可能比全局性方法更有效。

5 实践启示

可以借鉴的技术

1. Token 级信号作为训练诊断工具

STEER 的 Ω(s) 估计不仅可以用于调控，还可以作为训练过程的实时诊断面板：

• 监控四个象限的 token 比例变化，预判熵坍缩
• 定位哪些 token 类型是熵坍缩的主要驱动力
• 对比不同训练配置下的熵变分布，辅助超参搜索

2. 四因素分解作为方法设计检查清单

设计新的 RLVR 算法时，可以用四因素分解作为检查清单：

• 你的方法影响了哪些因素？
• 被忽略的因素是否可能导致意外的熵动态？
• 是否存在更精细的方式同时控制多个因素？

3. 自适应重加权作为通用训练稳定器

STEER 的”对剧烈变化的 token 降权”思路不限于熵调控，可以推广为一种通用的训练稳定技术：

• 对梯度范数异常的 token 降权（防梯度爆炸）
• 对损失贡献异常的 token 降权（防异常样本主导训练）
• 对策略偏移过大的 token 降权（防灾难性遗忘）

潜在应用场景

1. 大规模 MoE 模型的 RLVR 训练

MoE 模型中专家路由的不稳定性可能加剧熵坍缩——某些专家被过度激活导致概率集中。STEER 的 token 级调控可以与 UP 的非对称优化结合，在路由层面和 token 层面同时稳定训练。

2. 多域 RLVR 的联合训练

在同时训练数学、代码、工具调用等多个域时，不同域的熵动态可能差异巨大。STEER 的 token 级调控可以自动适应不同域的熵变化模式，避免”一刀切”的全局熵干预。

3. 推理模型的持续学习

在已训练好的推理模型上进行增量 RLVR 训练时，熵坍缩风险更高（因为模型已经偏向特定推理模式）。STEER 可以在保持已习得推理能力的同时，为新推理路径保留探索空间。

4. 与 PIRL/PIPO 闭环训练的结合

STEER 的 token 级熵变估计可以为 PIPO 的”回头验证”提供更精细的信号：不仅验证”策略是否提升”，还可以验证”哪些 token 的更新带来了提升”。这种 token 级的闭环验证可能实现更高效的训练收敛。