精读：CSCR——反事实敏感性揭示特权蒸馏的信用分配盲区

1 论文概览

一句话总结：通过反事实重评分实验揭示OPSD的特权偏移方向在答案正确与错误的对立条件下高度重叠（CPC≈0.58），证明偏移幅度反映的是”反事实敏感性”而非”学习价值”，据此提出CSCR框架对高敏感token适度减权，在5个长链数学推理基准上全面超越GRPO。

核心问题：RLVR训练中，GRPO将响应级奖励均匀广播至所有token（忽视不等贡献），而OPSD通过特权自教师提供密集分布监督——但OPSD的隐含假设是：特权偏移编码了可靠的答案对齐信息。这个假设成立吗？

主要贡献：

1. 反事实重评分实验：固定轨迹，在对立结果条件下（断言正确 vs 断言错误）重评分，揭示两种条件下大多数受影响token偏移方向一致、优化信号高度重叠
2. 反事实扰动一致性（CPC）度量：提出CPC∈[0,1]量化对立条件下信号重叠程度，OPSD的CPC≈0.58，而GRPO在理论上是0
3. 敏感性的重新解释：偏移幅度反映”反事实敏感性”（token对上下文扰动的固有脆弱性）而非token级学习价值；大偏移集中在可替换的表面形式token（“But""So""Let”），问题特定推理token（数字、运算符）反而偏移小
4. CSCR框架：对高敏感token适度减权+轨迹内归一化，保留验证器导出的信用方向和总预算
5. SD-GRPO消融：将特权偏移方向替换为GRPO优势方向，约30步内优化崩溃，证明最大特权偏移的方向对信用分配不可靠

2 方法详解

2.1 反事实重评分实验设计

这是全文最精巧的实验设计。给定问题$x$，采样在线策略轨迹$y = (y_1, \ldots, y_T) \sim \pi_\theta(\cdot|x)$。然后固定轨迹和每个前缀$y_{<i}$，在两种特权条件下对每个token $y_i$重新打分：

$z_i^{\text{pos}} = \log \pi_\theta(y_i | x, c^{\text{pos}}, y_{<i}) - \log \pi_\theta(y_i | x, y_{<i})$

$z_i^{\text{neg}} = \log \pi_\theta(y_i | x, c^{\text{neg}}, y_{<i}) - \log \pi_\theta(y_i | x, y_{<i})$

其中$c^{\text{pos}}$是断言答案正确的提示（如”该回答是正确的”），$c^{\text{neg}}$断言错误。

关键洞察：如果特权偏移确实编码了答案对齐信息，那么在对立条件下偏移方向应该反转——正确条件下应该增强正确推理token，错误条件下应该抑制它们。但实际上：

• 两种条件下均不显著的token占 82.4%–84.7%
• 两种条件下均显著的token占 8.2%–10.4%
• 联合显著token中同向偏移比例高达91.4%–95.8%
• 全词表同向偏移比例 77.2%–79.1%，反向仅 13.2%–15.3%

这意味着：即使告诉模型”你的答案是错的”，大多数token的偏移方向与告诉它”你是对的”时几乎相同。

2.2 反事实扰动一致性（CPC）度量

定义组合信号幅度$\mathcal{M}$和不一致幅度$\mathcal{D}$：

$\text{CPC} = 1 - \frac{\mathcal{D}}{\mathcal{M}}, \quad \text{CPC} \in [0, 1]$

• CPC=1：两种条件下信号完全相同（纯噪声）
• CPC=0：两种条件下信号完全相反（纯答案对齐信息）

实测结果：

条件构造	CPC
Answer-level	0.636
Mild outcome-only	0.789
Reference solution	0.533

即使使用参考解答的最强提示，CPC仍为0.533——约一半的优化信号在答案对错之间没有区分。

而GRPO的理论CPC=0（命题证明：在线策略参考点处，相反优势产生反平行梯度）。

2.3 CSCR框架

基于上述诊断，CSCR的核心思想是：保留验证器导出的信用方向，但对高敏感token减权。

步骤1：反事实敏感性得分

$s_{i,t} = \text{sg}[\max(|z_{i,t}^{\text{pos}}|, |z_{i,t}^{\text{neg}}|)]$

其中sg表示stop-gradient，避免敏感性估计影响主训练梯度。

步骤2：原始信用权重映射

$w_{i,t} = \begin{cases} 1, & s_{i,t} < \lambda \\ 1 - \gamma(1 - \exp[-\alpha(s_{i,t} - \lambda)]), & s_{i,t} \geq \lambda \end{cases}$

• $\lambda=0.05$：衰减起始阈值
• $\alpha=10$：衰减速率
• $\gamma=0.2$：最大衰减强度

步骤3：轨迹内归一化

$\widetilde{w}_{i,t} = \frac{w_{i,t}}{\frac{1}{T_i}\sum_{j=1}^{T_i} w_{i,j}}, \quad \widehat{A}_{i,t} = \widetilde{w}_{i,t} A_i$

归一化确保总信用预算不变——减权释放的信用被重新分配给低敏感token。

步骤4：替换GRPO目标中的优势——只需修改优势计算，不改变优化目标结构。

2.4 与基线方法的区别

方法	信用分配	假设	局限
GRPO	均匀广播	所有token等贡献	忽视不等贡献
OPSD	特权偏移方向	偏移编码答案对齐信息	偏移主要是敏感性噪声
CSCR	敏感性加权	高敏感=低信息价值	需额外前向传播估计敏感性

CSCR的独特之处在于方向来自验证器（可靠），幅度来自敏感性估计（指导减权）——而非OPSD的方向来自特权教师（不可靠）。

3 实验结果

3.1 主实验

模型	方法	AMC23	AIME24	AIME25	AIME26	SMT25
Qwen3-1.7B	GRPO	84.1	47.4	36.7	37.4	39.5
	OPSD	83.6	45.8	34.2	33.8	36.1
	RLCSD	84.8	47.7	37.2	36.9	40.8
	CSCR	88.8	50.1	43.6	42.2	44.0
Qwen3-4B	GRPO	96.9	71.5	65.0	65.3	57.4
	OPSD	94.6	69.2	61.5	62.7	55.5
	RLCSD	96.4	72.3	65.7	65.5	57.8
	CSCR	97.8	74.4	68.3	67.2	59.0

关键观察：

• CSCR在全部10个模型-基准组合上取得最佳结果
• 1.7B模型提升尤为显著：AIME25 +8.1分，AIME26 +7.0分，AMC23 +4.7分
• OPSD实际上低于GRPO基线——直接验证了特权偏移的不可靠性
• 4B模型提升相对温和（+1.7~5.4分），但一致性完美

3.2 与SOTA的对比

与7种基线方法全面对比：GRPO、OPSD、SDPO、SRPO、RLSD、RLCSD、以及KTO变体。CSCR在每个基准上都超越最强基线，且训练步数相同（300步）。

3.3 消融实验关键发现

（1）SD-GRPO：信任偏移方向导致崩溃

将满足$|z_{i,t}| > \lambda$的token的GRPO优势方向替换为特权偏移方向。即使只翻转约1.5%token的符号（$\lambda=0.2$），训练也在约30步内崩溃——奖励归零、策略熵坍缩、生成出现”the""but”的持续重复。

这一消融堪称全文最震撼的结果：即使是最强的特权偏移方向，对信用分配也是有害的而非有益的。

（2）增权 vs 减权敏感token

策略	γ	效果
适度减权（CSCR）	0.2	✅ 最稳定，最高训练奖励
适度增权	0.2	改善但不如下权
强增权	0.5/1.0	熵飙升，改善有限
强减权	0.5	崩溃：长度降至~6000
强减权	1.0	崩溃：长度降至~2000

反直觉结论：敏感token虽然”知道的信息少”，但仍支持自回归连贯性——过度减权破坏生成稳定性。最优策略是温和减权（γ=0.2）。

（3）敏感性与token类型的关联

Top-50高偏移token的Jaccard相似度达88.7%——两种条件下高偏移token几乎完全重合。具体token类型：

• 高偏移：But, So, Let, Wait, Therefore（话语标记/表面形式token）
• 近零偏移：0-9, =, +, -, /, √（问题特定计算token）

这揭示了OPSD的深层问题：它主要影响的是”说话方式”而非”推理内容”。

4 个人分析

4.1 亮点

1. 实验设计的典范：反事实重评分是因果推断思维在RLVR研究中的精彩应用——“固定轨迹、翻转条件”完美隔离了特权偏移的信息内容。这种”消融式理解”比”加法式改进”更具科学价值。

2. CPC度量的理论优雅：将CPC定义为[0,1]区间，0=纯信号（GRPO），1=纯噪声，实测OPSD≈0.58——用一个数字就精确量化了OPSD处于”半信号半噪声”的尴尬位置。

3. GRPO CPC=0的命题证明：不是实验观察而是严格证明——在线策略参考点处，相反优势产生反平行梯度，CPC必为0。这为CPC度量提供了清晰的理论锚点。

4. “表面形式token vs 推理token”的区分：这一发现直接解释了为什么OPSD经常导致”更流畅但不更准确”的现象——模型学会了更好的”表达方式”而非更好的”推理方式”。

5. CSCR的极简主义设计：一个指数衰减权重+轨迹内归一化，3个超参数（λ/α/γ），无需额外训练——减法哲学的又一次胜利。

4.2 局限性

1. 敏感性估计的额外计算开销：CSCR需要两次额外前向传播（正/负条件重评分），虽然论文声称开销”可忽略”但未给出具体FLOPs对比。对于大规模训练，这可能不是真正的零开销。

2. 仅验证数学推理：5个基准全部是数学（AMC/AIME/SMT），未覆盖代码生成、科学推理等OPSD声称优势的领域。代码生成中token类型的分布可能与数学推理截然不同。

3. 规模局限：最大模型仅4B，未验证CSCR在7B/32B/70B等更大规模上的表现。CPC值是否随规模变化是关键未解问题。

4. 阈值的敏感性：λ=0.05是一个关键超参数，论文未给出选择依据。不同任务/模型的最优阈值是否一致？

5. 与最新RLVR改进的交互未探索：CSCR如何与STARE（惊奇度重加权）、FADE（自适应调度）、UP（非对称优化）等互补？这些方法从不同角度解决信用分配问题，组合效果未知。

4.3 对大模型领域的影响

1. 对OPSD范式的根本性质疑：如果OPSD的特权偏移主要是敏感性噪声，那么所有基于OPSD的方法（包括CRPO、CriPO等最新工作）都需要重新审视其理论根基。

2. 为”RLVR实际作用远比想象中更简单”的论证链增加信用分配维度：与Sparse Policy Selection（token级稀疏）、RELEX（参数级低秩）、One Layer Enough（层级集中）、ISO（谱继承）共同构成五维论证——RLVR的改进不来自”教会新能力”而来自”更精准地分配信用”。

3. “验证器方向+敏感性加权”的范式可能成为新默认：OPSD提供方向不可靠，但GRPO均匀广播太粗糙。CSCR开创的”验证器方向+模型内部信号调节幅度”可能是正确的设计空间。

4. 对”模型自我评估”能力的启示：如果模型在对立条件下给出的信号高度重叠，那么模型的”自我评估”能力可能比我们以为的更弱——这与Illusion of Thinking的精确计算崩塌形成深层呼应。

5 实践启示

5.1 可以借鉴的技术

1. 反事实重评分作为诊断工具：任何使用OPSD/自蒸馏的训练流程都应先做CPC检测——如果CPC>0.5，说明你的密集监督主要是噪声。这是一个低成本、高信息量的诊断。

2. 敏感性加权的通用化：CSCR的加权公式（指数衰减+轨迹内归一化）可以推广到任何需要token级信用分配的场景——不仅限于数学推理，也适用于代码生成、多轮对话等。

3. “方向来自验证器，幅度来自内部信号”的设计原则：这是比CSCR本身更重要的洞察——与其追求更”智能”的教师信号，不如用简单可靠的验证器方向配合模型内部信号做幅度调节。

4. 温和减权的工程直觉：γ=0.2是最优的发现提醒我们——token虽然在信息论上”价值低”，但在自回归生成中承担”承上启下”的结构性角色，过度惩罚会导致生成崩溃。

5.2 潜在应用场景

1. 长链推理训练的信用分配优化：直接应用于任何使用GRPO训练推理模型的场景，在几乎零额外成本下提升效果。

2. OPSD训练流程的健康检查：在生产级OPSD流水线中加入CPC监控——如果训练过程中CPC持续>0.5，应考虑切换为验证器驱动的信用分配。

3. 多任务RLVR的token级适配：不同任务的敏感token类型不同（数学是话语标记、代码可能是注释/空格），CSCR的敏感性估计可以自动适配。

4. 与STARE/FADE等方法的组合：STARE基于惊奇度区分高低信息token，CSCR基于敏感性区分高低信息token——两者可能互补，一个关注”模型对token的不确定度”，一个关注”token对上下文扰动的脆弱度”。

5. Agent长轨迹的信用分配：在多轮工具调用的Agent训练中，反事实重评分可以诊断哪些轮次的决策是”真正有用”vs”只是看起来有用”——直接命中Agent可靠性这一焦点领域。

---

论文与RLVR论证链的位置关系：

CSCR从信用分配维度补充了”RLVR实际作用远比想象中更简单更局部”的论证链——此前从token级（Sparse Policy Selection）、参数级（RELEX/ISO）、层级（One Layer Enough）、几何级（SAR）四个维度论证了RLVR改进的”简单性”；CSCR从信用分配维度论证了RLVR改进的”方向不可靠性”——不仅改进简单，而且我们以为的”精细信号”（OPSD特权偏移）主要是噪声。这两条论证线共同指向一个核心结论：RLVR的价值不在”教会新能力”，而在”更精准地放大已有能力的正确表达”。