论文精读

精读：Hidden-Align——对齐验证隐藏状态增强RL推理

发现正确rollout在锚点token处隐藏状态自然但不完全收敛（cos≈0.84），通过对齐蒸馏出路径无关的'正确决策'表征，零开销提升RLVR推理3.8-6.2pp

论文： Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning

作者： Ziyue Wang, Aomufei Yuan, Yongfu Zhu, Shuai Dong, Wenpu Liu, Yiran Yao, Weichu Xie, Yuqi Xu, Caoyuan Ma, Wenqi Shao, Xiaoying Zhang, Nan Duan, Jiaqi Wang

arXiv： 2606.03234

2026年6月9日 RLVR 隐藏状态对齐数学推理表征几何 DAPO Qwen3 test-time-scaling 过程信号

1 论文概览

一句话总结：首次发现RLVR训练中正确rollout在答案前的隐藏状态存在”半收敛”几何结构（cos≈0.84），通过对齐该位置表征蒸馏出路径无关的”正确决策”表示，以零额外开销在三个规模上提升数学推理3.8-6.2pp。

核心问题：当前RLVR方法将每个正确rollout丰富的隐藏状态信息压缩为单个reward bit（0/1），这是对模型内部几何结构信息的极大浪费——正确rollout之间共享的表征信号从未被利用。

主要贡献：

几何现象发现：在锚点token（\boxed{之前的token）处，正确rollout的最后一层隐藏状态自然但不完全收敛（余弦相似度≈0.84），跨模型规模一致——高于推理链中间token（~0.4），低于答案区域token（>0.9），形成独特的”甜点”位置
Hidden-Align方法：提出辅助余弦对齐损失，在锚点token处对齐正确rollout的隐藏状态，强化已有聚类趋势而非施加人工约束；训练和推理均为零额外开销
工程实现：两阶段微批次反向传播方案解决跨micro-batch梯度计算问题，组保留批次重排序确保分布式训练正确性
系统性验证：8个数学推理基准 × 3个模型规模（1.7B/4B/14B），pass@1和pass@k一致提升；4维消融（损失类型/锚点位置/层深度/权重）精确验证每个设计选择
反直觉发现：对齐正确rollout不仅提升pass@1（贪心解码更准），还提升pass@k（多样采样更准）——路径无关的”正确决策”表征深化了模型对”什么是正确解”的理解

2 方法详解

架构/方法概述

Hidden-Align的核心思路极其简洁：在标准DAPO训练的每一步，额外计算一个轻量辅助损失，将同一提示下所有正确rollout在锚点token处的隐藏状态拉近。

锚点token的精确定义：生成输出中\boxed{标记之前紧邻的那个token。这个位置是推理链的”决策出口”——模型已走完推理路径，即将给出最终答案，但尚未被答案token的强制收敛”淹没”。

为什么是这个位置？ 论文通过余弦相似度分布的精细分析揭示了三个区域的差异：

位置	正确-正确cos	正确-错误cos	信息含量
推理链中间token	~0.4	~0.3	太分散，信号弱
锚点token	~0.84	~0.5	半收敛，信号甜点
答案区域token	>0.9	>0.9	完全收敛，无梯度空间

锚点token的独特性在于：正确rollout已开始收敛（因为必须产生相同答案），但仍保留推理路径特有的残差方差。这正是可利用的信号空间。

对齐损失定义：

$\mathcal{L}_{\cos} = 1 - \frac{1}{|P|}\sum_{(i,j) \in P} \cos(\mathbf{h}_i, \mathbf{h}_j)$

其中 $\mathcal{C} = \{i : r_i = 1\}$ 为正确响应集合， $P = \{(i,j) : i,j \in \mathcal{C}, i < j\}$ 为所有正确答案对。仅当 $|\mathcal{C}| \geq 2$ 时计算。

总训练损失：

$\mathcal{L} = \mathcal{L}_{\text{DAPO}} + \lambda \cdot \mathcal{L}_{\cos}, \quad \lambda = 0.001$

$\lambda$ 极小（0.001）的原因：正确rollout在锚点已部分对齐，过强信号会压制RL主目标。

关键创新点

1. 从token概率空间到隐藏表征空间的维度跃迁

此前所有RLVR改进（GRPO/DAPO/Dr.GRPO/VAPO等）都在token概率层面操作——调整优势函数、裁剪策略、奖励塑形。Hidden-Align首次在隐藏表征空间引入训练信号，与这些算法正交互补。这不是”更好的RLVR”，而是”RLVR的一个新维度”。

2. 梯度推导揭示”吸引但不坍缩”机制

$\mathcal{L}_{\cos}$ 对 $\mathbf{h}_i$ 的梯度为：

$\frac{\partial \mathcal{L}_{\cos}}{\partial \mathbf{h}_i} = -\frac{1}{|P|}\sum_{\substack{j \in \mathcal{C}_g \\ j \neq i}} \frac{1}{\|\mathbf{h}_i\|}\left(\hat{\mathbf{h}}_j - s_{ij} \hat{\mathbf{h}}_i\right)$

投影项 $s_{ij}\hat{\mathbf{h}}_i$ 防止所有正确rollout坍缩到单一点——梯度将 $\hat{\mathbf{h}}_i$ 推向其他正确隐藏状态的方向，但减去其在自身方向上的分量，确保收敛到有意义的聚类而非退化解。

3. 两阶段微批次训练方案

标准RL训练将mini-batch分割为micro-batches以适应GPU内存，导致同组rollout分散。论文提出：

Phase 1（收集）：禁用梯度，顺序前向所有micro-batch，收集锚点嵌入后detach作为固定参考
Phase 2（反向传播）：逐micro-batch重新前向正确样本，计算对detach参考的损失，梯度仅通过当前样本

数学上等价于完整组内计算（每对 $(i,j)$ 被访问两次，两侧都获得正确梯度），但内存开销可控。

与基线方法的区别

维度	DAPO	Hidden-Align
信号来源	外部奖励（0/1 bit）	内部表征（连续向量）
信号粒度	rollout级	token级（锚点位置）
信号性质	结果验证	过程+结果联合
额外开销	无	无（训练+推理均为零）
与现有RLVR方法的关系	基线	正交互补，可叠加

3 实验结果

主要指标

在8个数学推理基准上评估，覆盖竞赛级（AIME 2024/2025/2026, AMC 2023/2024, HMMT）和学术级（Minerva, OlympiadBench）：

方法	规模	AIME24	AIME25	AIME26	AMC23	AMC24	HMMT	Minerva	Olympiad	平均
Qwen3-4B + DAPO	4B	48.12	43.44	40.31	88.28	58.75	19.79	53.68	63.35	51.97
+ Hidden-Align	4B	59.17	51.46	50.31	91.41	62.15	27.08	56.62	67.06	58.16
提升pp		+11.05	+8.02	+10.00	+3.13	+3.40	+7.29	+2.94	+3.71	+6.19

方法	规模	AIME24	AIME25	AIME26	AMC23	AMC24	HMMT	Minerva	Olympiad	平均
Qwen3-1.7B + DAPO	1.7B	29.06	25.83	19.90	68.12	47.43	14.06	44.85	49.70	37.37
+ Hidden-Align	1.7B	31.87	27.50	24.27	73.83	47.57	16.98	52.21	55.34	41.20
提升pp		+2.81	+1.67	+4.37	+5.71	+0.14	+2.92	+7.36	+5.64	+3.83

方法	规模	AIME24	AIME25	AIME26	AMC23	AMC24	HMMT	Minerva	Olympiad	平均
Qwen3-14B + DAPO	14B	60.94	51.98	49.79	92.27	64.10	31.35	58.82	72.85	60.26
+ Hidden-Align	14B	68.12	61.67	60.94	93.98	65.62	34.58	64.71	75.82	65.68
提升pp		+7.18	+9.69	+11.15	+1.71	+1.52	+3.23	+5.89	+2.97	+5.42

4B模型AIME 2024提升+11.05pp最为惊人——从48.12直接跳到59.17，几乎等于一次模型规模升级的效果。

与SOTA的对比

Hidden-Align不与特定方法竞争，而是在任何RLVR基线上叠加。论文在DAPO上验证，但理论上可与GRPO、Dr.GRPO、VAPO等任意组合——这是一个”免费午餐”式的改进。

消融实验关键发现

损失类型消融（5种候选）：

损失类型	含义	平均分	vs DAPO
Alignment（本文）	拉近正确rollout	49.68	+7.94
Diversity	推开所有rollout	45.25	+3.51
Negative	推开错误rollout彼此	44.42	+2.68
Cluster	拉近所有rollout	42.61	+0.87
Separation	推开正确与错误	41.19	-0.55

关键发现：组合损失反而稀释效果——Alignment+Separation降至42.30，Alignment+Diversity降至39.92（甚至低于DAPO基线41.74）。这表明”少即是多”——仅Alignment信号最为纯净有效。

锚点位置消融：仅锚点token（pre_boxed）显著有效（+7.94），序列末尾（-0.75）和答案区域（+1.22）几乎无增益。这验证了”甜点”假说——太早信号弱，太晚信号饱和。

层深度消融：仅最后一层有效。Layer 16-32的增益在+1.5到+3.2之间，而Layer 36（最后一层）直接+7.94。深层表征才编码了足够的决策信息。

损失权重消融： $\lambda=0.001$ 最优；0.01导致训练发散（100步后崩溃），0.0001信号不足。一个数量级的差距决定了训练的成败。

隐藏状态 vs. Logits对齐：Logit对齐（pre-softmax）不仅无效，还低于基线（46.67 vs 48.12）。这证明对齐信号特定于隐藏表征空间，不平凡归约为输出级匹配。

4 个人分析

亮点

1. 发现的优雅性

锚点token处cos≈0.84的”半收敛”现象是一个美丽的发现——不是完全收敛（>0.9）也不是完全分散（~0.4），而是在精确的”决策出口”位置保留了可利用的信号空间。这种”刚好不完全”的状态恰恰是最有价值的信息载体。

正确rollout在锚点token已经比正确-错误对更紧密地聚类 → 对齐损失强化现有趋势而非施加人工约束

这不是凭空设计的正则化，而是发现并利用了模型内部的自然几何结构。

2. “知而不行”现象的精准治愈

论文的案例研究（AIME 2024 Problem 11）揭示了一个核心问题：模型能在采样中找到正确答案（DAPO 11/32正确），但贪心输出却被不正确中间值主导（最频繁错误答案291出现8次）。这正是”知而不行”——模型拥有正确知识，但无法在贪心解码中可靠地访问。

Hidden-Align通过巩固”正确决策”表征，使贪心行为与其最佳采样能力对齐（26/32正确）。这与RL Unlocks Parametric Knowledge的”概率质量重分配”发现形成精妙互补：RL将低概率正确答案拉入可靠生成，Hidden-Align则将分散的正确表征聚合成统一决策点。

3. pass@1与pass@k的双提升解释

对齐正确rollout为什么不仅提升贪心解码（pass@1），还提升多样采样（pass@k）？论文给出了深刻解释：

更一致的决策表征 → 贪心解码更可能命中正确答案（pass@1↑）
从多样路径蒸馏共同结构 → 深化了模型对”什么是正确解”的理解 → 即使通过新推理路径也能找到正确答案（pass@k↑）

这意味着Hidden-Align不是简单的”让模型更确定”，而是让模型更理解。

4. 训练后期的聚类崩溃保护

论文发现约第400-500步时，DAPO基线的对齐损失急剧上升——自然聚类在后期训练阶段崩溃。而Hidden-Align在整个训练过程中保持稳定对齐。这暗示RL训练本身会侵蚀正确rollout的内在一致性，而Hidden-Align提供了对抗这种侵蚀的”保护力”。

局限性

1. 仅验证于数学推理

锚点token依赖\boxed{}格式标记，这是数学推理特有的。扩展到代码推理（需识别提交/测试通过的锚点）、科学推理（需识别结论语句）或其他领域，需要重新定义锚点位置。论文承认这一点但未给出通用方案。

2. 超参数敏感性

$\lambda=0.001$ 是最优值，但0.005已显著退步，0.01直接导致训练发散。一个数量级的差距决定成败，这在工程部署中需要仔细调参。自适应调度（如训练早期使用更大 $\lambda$ 加速对齐、后期减小以避免干扰）可能更鲁棒，但论文未探索。

3. 规模验证有限

1.7B/4B/14B是合理的选择，但70B+规模的验证缺失。更大模型的隐藏状态几何可能不同——更深的层可能意味着最后一层的”决策出口”语义更复杂。此外，论文仅使用Qwen3系列，跨模型族的验证（Llama、DeepSeek等）缺失。

4. 对正确rollout数量的依赖

损失仅当 $|\mathcal{C}| \geq 2$ 时计算。对于极难问题（正确率<10%，n=10 rollout），大多数提示组没有足够的正确rollout来计算损失。论文未分析这种稀疏性对训练的影响。

对大模型领域的影响

1. “模型内部信号”作为训练信号的范式推进

本文与SAERL（SAE提取模型内部信号指导数据工程）和Premature Confidence（置信度轨迹作为免费过程级信号）共同指向一个趋势：模型内部的表征结构蕴含了比外部奖励更丰富的信号，且这些信号可以被低成本甚至零成本地利用。

2. RLVR理解的新维度

与Spurious Rewards、LPO、RELEX、RL Unlocks Parametric Knowledge共同构成”RLVR实际作用远比想象中更复杂”的论证链：

Spurious Rewards：RLVR不一定教会新能力，可能只是放大预训练先验
LPO：RLVR的几何本质是响应单纯形上的目标投影
RELEX：RLVR的权重变化极低秩且可线性外推
RL Unlocks Parametric Knowledge：RLVR重分配概率质量而非教会新知识
Hidden-Align：RLVR遗漏了隐藏状态中的几何结构信号

这五篇论文从五个不同维度（奖励有效性/策略几何/参数结构/概率分布/表征结构）指向同一个结论：我们对RLVR的理解远比训练流程所暗示的更浅薄。

3. 过程级信号的”免费午餐”范式

Hidden-Align最大的工程吸引力在于”零额外开销”——不需要额外模型、不需要额外数据、不需要额外推理。这标志着一种新范式：不是设计更好的外部信号，而是发现并利用模型内部被浪费的免费信号。

5 实践启示

可以借鉴的技术

1. 锚点token分析作为诊断工具

锚点token处正确/错误rollout的余弦相似度分布可以作为RL训练健康度的诊断指标：

正确-正确cos过低（<0.7）：模型对”正确解”的表征不一致，可能需要更多训练或更强的对齐信号
正确-正确cos过高（>0.95）：信号饱和，对齐无效
训练中cos突然下降：自然聚类崩溃，训练可能过拟合

2. 两阶段微批次反向传播模式

当辅助损失需要跨micro-batch计算（如同组rollout的统计量），“收集detach参考 → 逐micro-batch对齐”的模式是通用的工程解决方案，可直接迁移到其他需要跨样本统计的RL改进方法。

3. “强化已有趋势”的设计原则

Hidden-Align成功的核心不是”发明新信号”，而是”强化模型内部已有的自然趋势”。这种设计原则可推广：

如果发现模型内部存在有意义的半收敛结构，就对齐它
如果发现模型内部存在有意义的分叉结构，就分离它
信号的强度应与自然趋势的强度匹配（ $\lambda$ 极小的原因）

潜在应用场景

1. 代码推理的锚点对齐

在代码RLVR中，“代码提交点”或”测试通过点”可作为锚点token。正确通过测试的代码rollout在其”return”语句或最终输出处的隐藏状态可能也具有类似的半收敛结构。

2. 多模态推理的锚点扩展

VEPO已揭示纯熵信用分配在视觉推理中失效。如果视觉推理模型在”图像描述→推理→答案”的转换点处也存在类似的半收敛锚点，Hidden-Align可直接迁移。

3. Agent决策点的表征一致性

在Agent系统中，“工具调用前的决策点”可作为锚点。确保相同任务下正确执行路径在决策点的表征一致，可能提升Agent的贪心执行可靠性——这与TACT的漂移校准形成互补：TACT在推理时校准漂移，Hidden-Align在训练时预防漂移。

4. 后训练数据质检的表征信号

锚点token的余弦相似度可作为数据质量的隐式指标：如果同一提示下多个”正确”rollout在锚点处的隐藏状态极度分散（cos<0.5），可能暗示标注错误或问题有歧义。这与SAERL的SAE质量探针形成互补——SAERL从模型内部过滤低质量数据，Hidden-Align的几何信号可从模型内部检测标注歧义。