精读：STARE——惊奇度引导的Token级优势再加权稳定策略熵

1 论文概览

一句话总结： STARE 首次从 token 级梯度分析揭示 GRPO 熵坍缩的信用分配错配机理——正优势轨迹中低惊奇度 token 统计性地压过高惊奇度 token 的熵增贡献——并通过惊奇度分位数代理 + 目标熵闭环门控实现千步级稳定训练，AIME24/25 超越 DAPO 等强基线 4-8%。

核心问题： GRPO 类 RLVR 算法在长程训练中普遍出现策略熵坍缩（policy entropy collapse）——输出分布急剧收窄、组内采样同质化、训练步数被有效上限封顶。现有缓解方法（clip-higher、熵正则化、轨迹级差异化加权）要么粒度过粗无法区分同轨迹内的对立熵效应，要么缺乏对坍缩机理的原则性理解。

主要贡献：

1. Token 级熵动力学一阶分析：首次给出 GRPO 下 per-token 熵变化的解析分解——轨迹级优势 × 熵敏感度函数，揭示四象限结构和近临界性性质
2. 信用分配错配的数学证明：正优势轨迹中低惊奇度 token（占统计多数）主导熵减梯度，高惊奇度 token（熵增的少数派）被稀释——这是 GRPO 熵坍缩的根因
3. STARE 框架：惊奇度分位数代理识别熵关键 token → 优势条件化再加权 → 目标熵闭环门控，三步最小化修改 GRPO 目标
4. 跨规模跨场景验证：1.5B-32B 三个任务族（Short CoT / Long CoT / Tool Use）千步级稳定训练，AIME24/25 超 DAPO 4-8%
5. 涌现反思行为：被放大权重的 token 集中在自我修正词汇（should be, but, instead, verification），反思指标全面超越 GRPO-ds

2 方法详解

架构/方法概述

STARE 并非新算法，而是对 GRPO 目标函数的最小化改造——仅在截断代理目标上乘以 token 级正权重 $\omega_{i,t}$：

$\mathcal{J}_{\text{STARE}}(\theta) = \frac{1}{N}\sum_{i,t} \omega_{i,t} \min\Big(\rho_{i,t}(\theta)\hat{A}_i,\; \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_i\Big)$

当 $\omega_{i,t} \equiv 1$ 时退化为标准 GRPO。核心是三步操作：

1. 熵关键 Token 识别：对正/负优势集内的 token 按惊奇度降序排列，取前 P% 作为熵关键集 $\mathcal{L}^{\pm}$
2. 优势条件化再加权：对正优势高惊奇度 token 放大权重（$W > 1$），对负优势高惊奇度 token 衰减权重（$M < 1$）
3. 目标熵闭环门控：当批次平均熵低于目标 $H_{\text{tgt}}$ 时激活干预，否则自动回归 GRPO

关键创新点

创新一：四象限分解与信用分配错配

Theorem 3.1 揭示 token 级熵变化 $\frac{dH}{d\eta}\big|_{\eta=0} = -\hat{A}\,\Phi(p)$，其中熵敏感度函数 $\Phi(p)$ 在唯一惊奇度阈值 $\mathfrak{s}^*$ 处变号。这产生四象限结构：

象限	优势	惊奇度	对熵影响	统计地位
①	正	低（$\mathfrak{s} < \mathfrak{s}^*$）	降低熵	占多数
②	正	高（$\mathfrak{s} > \mathfrak{s}^*$）	增加熵	占少数
③	负	低（$\mathfrak{s} < \mathfrak{s}^*$）	增加熵	占少数
④	负	高（$\mathfrak{s} > \mathfrak{s}^*$）	降低熵	占少数

关键洞察：在正优势轨迹中，低惊奇度 token（已确信的”常规操作”）数量远多于高惊奇度 token（真正有探索价值的”突破点”）。GRPO 对所有 token 施加相同优势 $\hat{A}$，因此象限①的熵减效应统计性地压过象限②的熵增效应——这就是信用分配错配。

“In positive-advantage trajectories, the entropy-decreasing effect from low-surprisal tokens (quadrant ①) statistically dominates the entropy-increasing effect from high-surprisal tokens (quadrant ②) — this is the credit assignment mismatch underlying GRPO entropy collapse.”

创新二：近临界性（Near-Criticality）

Proposition 3.5 和 Corollary 3.6 证明：仅需一个温和的权重 $W^* = 1 + O(T^{-1})$ 就足以翻转熵演化的方向。这意味着：

• $W$ 控制幅度而非方向——超过临界点后，$W$ 的具体值不那么敏感
• 一个微小的 token 级扰动就能逆转坍缩趋势——这解释了为什么 STARE 的默认 $W=1.1$ 就有效

这个性质极大降低了对超参数的敏感性，是方法鲁棒性的理论基础。

创新三：惊奇度分位数代理

理论上应逐位置求解 $\Phi(p^*)=0$ 以精确识别熵关键 token，但计算开销过高。STARE 用批内惊奇度分位数作为代理：

$\mathcal{L}^{\pm} = \{(i,t)\in\mathcal{T}^{\pm}: \mathfrak{s}_{i,t} \geq Q_P(\{\mathfrak{s}_{j,s}\}_{(j,s)\in\mathcal{T}^{\pm}})\}$

消融实验验证该代理的有效性：选中 token 中落入理论熵增区域的比例从训练初期 ~60% 上升至 ~95%，且 $\mathcal{L}^+_q$ 的累积净熵贡献单调递增。

与基线方法的区别

方法	粒度	原理性	熵控制精度	超参敏感性
DAPO clip-higher	token 级（裁剪）	非对称裁剪，近策略时几乎不触发	低	中
熵正则化	轨迹级	对系数极度敏感	低	极高
轨迹级差异化加权	轨迹级	无法区分同轨迹内对立熵效应	中	低
STARE	token 级	四象限+近临界性理论指导	高（目标熵闭环）	低

STARE 的核心优势在于从理论诊断到方法设计的完整闭环——不是凭直觉调参，而是从梯度分析推导出最小必要干预。

3 实验结果

主要指标

Short CoT（Qwen2.5-Math-7B-Base）：

方法	AIME24	AIME25	AMC	MATH	Minerva	Olympiad	Avg
DAPO†	35.7	17.1	61.0	82.6	42.8	43.9	47.2
GRPO-ds	37.1	17.7	75.3	82.7	39.4	42.6	49.1
STARE-O1	44.2	23.8	83.4	86.1	44.2	44.7	54.4
STARE-C2	42.9	24.2	84.1	85.8	44.7	45.3	54.5

STARE-O1 在 AIME24 上 +7.1pp（vs GRPO-ds）、+8.5pp（vs DAPO），是本文最亮眼的数字。

跨规模验证：

• Qwen2.5-14B-Instruct：STARE-O1 平均 52.0%，超 GRPO-ds (46.1%) +5.9%
• Qwen2.5-32B-Base：STARE-O1 平均 60.7%，超 GRPO-ds (56.1%) +4.6%

Long CoT（DeepSeek-R1-Distill-Qwen-1.5B）：

方法	AIME24	AIME25	Avg
DAPO†	40.9	28.6	55.1
JustRL†	52.6	38.8	65.6
STARE-C2	53.1	40.5	66.3

Tool Use（Qwen2.5-7B-Base）：STARE-C2 平均 60.4%，超 GRPO-ds (53.9%) +6.5%

与 SOTA 的对比

STARE 在三个任务族上均超越当前最强基线：

• Short CoT：超 DAPO +4-8%，超 GRPO-ds +3-6%
• Long CoT：超 JustRL（先前 SOTA）+0.7%，在 AIME25 上 +1.7pp
• Tool Use：超 SimpleTIR +5.6%，超 GRPO-ds +6.5%

消融实验关键发现

1. 训练动态：熵稳定性 → 性能持续提升

• GRPO-ds：1000 步内熵趋向 0，AIME 准确率饱和（早熟收敛）
• STARE：熵稳定在 $H_{\text{tgt}}=0.3$ 附近，准确率持续上升至 5000 步
• Pass@32 全程超越 GRPO-ds，维持输出多样性是长程训练的前提

2. 近临界性的实验验证

无门控时：

• $W=1.01$ 已缓解熵衰减
• $W \geq 1.05$ 熵稳步增长
• $W \geq 2.0$ 发散

加门控（$H_{\text{tgt}}=0.3$）：

• $W \in [1.05, 1.5]$ 均能将熵控制在目标带内
• 大幅降低对 $W$ 的敏感性——理论预测与实验完全一致

3. 操作区间宽泛

• Top-P 比例 $P \in [5\%, 20\%]$ 均能稳定熵在目标带
• 即使 $P=40\%$，熵仍限于 $[0.1, 0.2]$——方法对超参选择鲁棒

4. 单边 vs 双边调控

O1（仅放大 $\mathcal{L}^+$）和 C2（放大 $\mathcal{L}^+$ + 衰减 $\mathcal{L}^-$）表现最佳。C2 在 AIME25 上略优（24.2 vs 23.8），说明双边调控能更精细地维持探索-利用平衡。

5. 涌现反思行为

被放大权重的 token 集中在不确定性和自我修正词汇：should be, but, instead, verification 等。STARE 在六类反思指标上均显著超过 GRPO-ds，最大差距出现在反思与自我修正类别。这暗示：维持策略熵不仅防止早熟收敛，还直接促进了推理链中的反思涌现。

4 个人分析

亮点

1. 理论诊断→方法设计的完整闭环

这是本文最大的亮点。太多论文停留在”现象→启发式方法”的层面，而 STARE 实现了”梯度分解→机理诊断→最小干预→理论保证”的全链条。四象限分解不是装饰性的数学包装，而是直接指导了方法设计——只有正优势+高惊奇度的 token 才应该被放大。近临界性定理则解释了为什么 $W=1.1$ 这样小的值就足够——这不是调参的巧合，而是理论的预言。

2. 近临界性：小扰动大效果

$W^* - 1 = O(T^{-1})$ 这个性质深刻且实用。它意味着熵坍缩是一个临界现象——只需要微小的干预就能逆转方向，而无需激进的重设计。这与物理学中的相变理论有深刻的类比：接近临界点时，系统对外部扰动极为敏感。从工程角度看，这保证了 STARE 的低超参敏感性和鲁棒性。

3. “信用分配错配”作为统一诊断框架

此前，熵坍缩被归因于各种不同原因：裁剪不对称性、数值精度偏差、目标函数的坍缩最优解等。STARE 的信用分配错配提供了一个更本质的统一视角——无论具体算法变体如何，只要对同轨迹所有 token 施加相同优势信号，低惊奇度 token 的统计优势就会系统性地压过高惊奇度 token 的熵增贡献。这个诊断框架可以解释 GRPO、PPO、DAPO 等多种算法的熵坍缩现象。

4. 涌现反思行为的发现

被放大权重的 token 集中在自我修正词汇，这一发现具有重要的直觉意义：反思和自我修正本质上就是”高惊奇度”行为——模型在不确定时才会质疑自己。STARE 通过维持这些 token 的梯度信号，间接地为反思行为的涌现提供了空间。这与 Overthinking 论文中”反思不总是好的”形成有趣的张力——关键是在何时反思，而非是否反思。

局限性

1. 惊奇度分位数代理的近似误差

理论上应逐位置求解 $\Phi(p^*)=0$，STARE 用批内惊奇度分位数作为代理。虽然消融显示选中 token 落入理论熵增区域的比例从 ~60% 升至 ~95%，但初期的 40% 误分类率不可忽视。这个近似在训练早期（分布尚未分化时）的误差可能更大。论文没有提供与精确阈值求解的直接对比。

2. 目标熵 $H_{\text{tgt}}$ 的选择缺乏原则性指导

虽然闭环门控使方法对 $W$ 和 $P$ 的选择鲁棒，但 $H_{\text{tgt}}$ 本身仍是一个需要手动设定的超参数。论文默认 $H_{\text{tgt}}=0.3$，但没有系统研究最优目标熵应该如何随模型规模、任务难度或训练阶段变化。这与 Entrocraft 论文的发现（线性退火最优）形成对话空间。

3. 仅在 Qwen 系列模型上验证

所有实验均基于 Qwen2.5 / Qwen3 / DeepSeek-R1-Distill-Qwen 系列。考虑到 Spurious Rewards 论文揭示的 Qwen 模型特殊性（预训练先验极强，RLVR 的改进可能来自裁剪偏置而非奖励信号），跨模型族验证（Llama、Gemma 等）对结论的普适性至关重要。

4. 与 Entrocraft 的关系未充分讨论

Entrocraft（arXiv:2604.26326）同样关注熵曲线控制，通过拒绝采样直接修改优势分布。两者的理论分析和操作粒度不同（Entrocraft 是样本级，STARE 是 token 级），但目标一致。论文仅简要提及，缺少与 Entrocraft 的直接实验对比。

对大模型领域的影响

1. RLVR 训练基础设施的必修升级

策略熵坍缩是 RLVR 训练中最普遍且最致命的问题之一。STARE 提供了一个理论扎实、实现简单（仅在 GRPO 损失上乘以 token 级权重）、超参鲁棒的解决方案。如果结论在更多模型上得到验证，STARE 有潜力成为 GRPO 类算法的标准组件。

2. 对”RLVR 到底在做什么”的理解深化

STARE 的四象限分解与 Spurious Rewards、LPO、RELEX 等论文形成共鸣——RLVR 的实际作用远比训练流程暗示的更局部、更可预测。Spurious Rewards 说”裁剪偏置放大预训练先验”，LPO 说”GRPO 是响应单纯形上的近似投影”，RELEX 说”权重轨迹是 rank-1 的”，STARE 则说”RLVR 的梯度信号被低惊奇度 token 劫持了”。四个维度的证据共同指向一个核心洞察：我们对 RLVR 的理解远比想象中浅薄。

3. 探索-利用平衡的定量理论

近临界性定理提供了一个定量框架：多强的干预就够反转熵演化方向。这为后续研究（如动态调整目标熵、将熵控制与其他训练信号协同）提供了理论基础。

4. 从”涌现”到”工程”的范式转换

STARE 的反思涌现发现与 SR²AM 的”认知治理”理念一致——反思不是涌现的奇迹，而是维持适当探索空间后的必然产物。当低惊奇度 token 不再垄断梯度信号，高惊奇度的反思 token 自然获得成长空间。这对 Agent 设计的启示是：不要追问”为什么模型不会反思”，而要问”什么训练信号在抑制反思”。

5 实践启示

可以借鉴的技术

1. Token 级优势再加权

STARE 的核心操作——根据 token 惊奇度调整优势权重——是一个通用的训练信号调制手段，可以嵌入任何策略梯度算法（PPO、REINFORCE++、RLOO 等）。实现成本极低（仅需计算 token 惊奇度分位数并乘以权重），可以在现有训练框架中即插即用。

2. 目标熵闭环门控

二值门控 $g_k = \mathbf{1}[\bar{H}_k < H_{\text{tgt}}]$ 是一个极其简洁的闭环控制机制。它不需要梯度估计或复杂的状态追踪，仅根据当前批次熵与目标的关系开关干预。这个设计模式可以泛化到其他需要稳定控制训练指标的场景（如 KL 散度控制、输出长度控制）。

3. 批内分位数代理

用批内分位数替代理论精确阈值是一种务实的工程选择。这种”统计代理”思路可以推广到其他需要 token 级信号但精确计算代价过高的场景（如 token 级过程奖励、token 级重要性采样）。

4. 信用分配错配诊断框架

四象限分解不仅适用于熵分析，还为理解 RLVR 的其他现象提供了新视角。例如，Spurious Rewards 中的”裁剪偏置放大预训练先验”可以重新解读为：预训练先验对应低惊奇度 token，裁剪偏置强化了象限①的主导地位。

潜在应用场景

1. 长程 RLVR 训练

最直接的应用场景。任何需要数千步 RLVR 训练的场景（复杂数学推理、代码生成、多轮工具使用）都可以受益于 STARE 的熵稳定机制，避免早熟收敛。

2. 小模型推理能力最大化

STARE 在 1.5B 模型上的 Long CoT 结果（AIME24 53.8%）已经接近甚至超越一些大模型。对于部署成本敏感的场景，STARE + 小模型可能是比大模型 + 标准 RL 更好的选择。

3. 多任务 RLVR 训练

Tool Use 场景的成功表明 STARE 不限于纯数学推理。在需要维持多维度能力（推理 + 工具调用 + 格式遵守）的训练中，熵稳定性对于防止某维度过早坍缩尤为重要。

4. 训练动态监控与调试

四象限分析框架本身就是一个有价值的诊断工具。在 RLVR 训练中监控各象限 token 的比例和梯度贡献，可以早期发现熵坍缩趋势并判断干预时机。

---

与专栏前期论文的对话链：

STARE 与本专栏此前精读的多篇论文形成深层呼应：

• Spurious Rewards：裁剪偏置放大预训练先验 = 象限①低惊奇度 token 的梯度被放大 → 两篇论文从不同角度揭示 RLVR 的改进主要来自对已有行为的调制而非新能力的习得
• LPO：GRPO 是响应单纯形上的近似投影 → STARE 揭示该投影被低惊奇度 token 的梯度方向主导 → 两者共同指向”GRPO 的梯度方向需要校正”
• RELEX：权重轨迹 rank-1 可预测 → STARE 的近临界性说微扰足以改变方向 → 两者共同暗示 RLVR 的优化轨迹有极高的可控性
• Overthinking：推理过度有害 → STARE 发现维持策略熵促进反思涌现 → 关键不是”要不要反思”而是”反思信号是否被抑制”
• DiRL：推理多样性 vs 记忆多样性 → STARE 的高惊奇度 token 放大本质上就是在奖励推理多样性 → 两者从不同入口抵达同一结论
• Hidden-Align：锚点 token 半收敛 → STARE 的惊奇度阈值 $s^*$ 可视为另一种”收敛判据” → 两者共同指向”模型内部的收敛/发散信号可以指导训练”

这些对话链指向一个正在成形的共识：RLVR 的真正瓶颈不是算法不够复杂，而是我们对训练信号的微观作用机理理解不够精确。STARE 是这个方向上的重要一步——从宏观的”熵在降低”到微观的”哪个 token 在降低熵、为什么、需要多少干预就能反转”。