论文精读

精读：Intuitor——无需外部奖励的推理学习

用模型自身置信度（self-certainty）替代外部验证奖励，实现完全无监督的推理强化学习

论文： Learning to Reason without External Rewards
作者： Xuandong Zhao, Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song
arXiv： 2505.19590
RLIF 强化学习 自监督推理 self-certainty GRPO 泛化 LLM训练

1 论文概览

一句话总结： Intuitor 证明大语言模型可以用自身的置信度信号（self-certainty）作为唯一奖励，替代外部验证奖励进行推理训练——在数学任务上匹配 GRPO，在代码等域外任务上大幅超越。

核心问题： RLVR（Reinforcement Learning with Verifiable Rewards）虽能有效训练 LLM 推理能力，但严重依赖领域特定的外部监督（数学需要标准答案、代码需要测试用例）。这限制了推理训练在无法提供可验证奖励的场景中的应用。能否让模型完全依靠内在信号自主学习推理？

主要贡献：

  1. 提出 RLIF 框架（Reinforcement Learning from Internal Feedback）：首次系统性地定义了”从内在反馈学习”的范式，将奖励来源从外部监督切换到模型自身的内部信号，为无需人工标注的推理训练开辟了新方向。

  2. 提出 Intuitor 方法：用 self-certainty（模型自身输出分布与均匀分布的 KL 散度）替代 GRPO 中的外部奖励，实现即插即用的完全无监督训练。

  3. 证明内部信号足以驱动有效学习：在数学基准上匹配 GRPO，在代码生成（LiveCodeBench +80%）和代码推理（CRUXEval +22%）上大幅超越，证明 self-certainty 不是”次优替代”而是”差异化优势”。

  4. 揭示过程感知奖励的独特价值：self-certainty 作为连续的、过程感知的奖励信号，不同于 GRPO 的二值结果奖励，能驱动更快的初始学习速度和更好的跨域泛化。

  5. 发现 Intuitor → GRPO 顺序训练的正向增益：先用 Intuitor 预热再用 GRPO 精调，比纯 GRPO 多训练一轮还高 2.8 个百分点（MATH500: 0.672 vs 0.644）。

2 方法详解

架构/方法概述

Intuitor 的核心思想极其简洁：在 GRPO 框架中，把外部奖励替换为 self-certainty 评分，其余不变。

Self-certainty 的数学定义：

Self-certainty 定义为模型输出分布与均匀分布之间的平均 KL 散度：

Self-certainty(o∣q)=1∣o∣∑i=1∣o∣KL(U∥pθ(⋅∣q,o<i))\text{Self-certainty}(o|q) = \frac{1}{|o|}\sum_{i=1}^{|o|}\mathrm{KL}(U \| p_{\theta}(\cdot|q,o_{<i}))

展开后等价于：

=−1∣o∣⋅∣V∣∑i=1∣o∣∑j=1∣V∣log⁡(∣V∣⋅pθ(j∣q,o<i))= -\frac{1}{|o| \cdot |\mathcal{V}|}\sum_{i=1}^{|o|}\sum_{j=1}^{|\mathcal{V}|}\log\left(|\mathcal{V}| \cdot p_{\theta}(j|q,o_{<i})\right)

其中 UU 是词表上的均匀分布，pθp_\theta 是模型的 next-token 分布。注意 KL 散度的方向：UU 是第一个参数，模型分布是第二个参数——这与常见的熵计算（反向 KL）不同，使得 self-certainty 不容易偏向更长的生成。

优势计算： 在 GRPO 的 group normalization 框架中，用 self-certainty 替换外部奖励：

ui=Self-certainty(oi∣q),A^i,t=ui−mean({u1,⋯ ,uG})std({u1,⋯ ,uG})u_i = \text{Self-certainty}(o_i|q), \quad \hat{A}_{i,t} = \frac{u_i - \text{mean}(\{u_1, \cdots, u_G\})}{\text{std}(\{u_1, \cdots, u_G\})}

关键创新点

  1. Self-certainty 的选择不是随意的。 论文系统对比了四种内在信号：

    • 熵最小化（EM）：导致模型崩溃到重复同一字符，灾难性失败
    • 原始 log probability：偏向更短输出，训练迅速崩溃
    • 归一化 log probability：鼓励过长输出，训练不稳定
    • Self-certainty：唯一的稳定选择——其 KL 散度方向天然抗长度偏置

  2. 在线（online）self-certainty 是防止奖励作弊的关键。 使用离线（固定基础模型）的 self-certainty 作为奖励时，策略会学到在回答后追加已解决问题来膨胀奖励，导致回答长度暴增、准确率崩溃。而在线 self-certainty 随策略演化而更新，与策略”共进化”，自然防止了 reward hacking。

  3. 过程感知 vs 结果感知的奖励范式差异。 Self-certainty 对每个 token 位置都产生信号，是一种连续的、过程感知的奖励；而 RLVR 的外部奖励只有”对/错”二值信号，是结果感知的。这种差异直接导致了 Intuitor 更快的初始学习和更好的跨域泛化。

与基线方法的区别

维度GRPO (RLVR)Intuitor (RLIF)
奖励来源外部验证器（答案/测试用例）模型自身 self-certainty
监督需求需要领域特定标注完全无监督
奖励类型二值（对/错）连续（过程感知）
适用领域仅限可验证领域任意领域
域内性能略优（+2~4%）略低
域外泛化较弱显著更强

3 实验结果

主要指标

实验覆盖 6 个基准，横跨数学推理（GSM8K, MATH500）、代码生成（LiveCodeBench v6）、代码推理（CRUXEval-O）、通用知识（MMLU-Pro）、指令遵循（AlpacaEval 2.0），模型规模从 1.5B 到 14B。

与 SOTA 的对比

核心对比：Qwen2.5-3B（主实验）

基准BaseGRPOIntuitorIntuitor 优势
GSM8K0.6730.8260.792−3.4% (域内略低)
MATH5000.5440.6360.612−2.4% (域内略低)
LCB0.0930.0850.153+80% (域外大幅领先)
CRUX0.2360.3410.416+22% (域外大幅领先)
MMLU-Pro0.3770.4030.379−2.4%
AlpacaEval3.726.917.10+0.19

规模效应：14B 级别 Intuitor 全面追平甚至超越 GRPO

基准GRPO (14B)Intuitor (14B)Intuitor 优势
GSM8K0.9170.923+0.6%
MATH5000.7580.770+1.2%
LCB0.2960.300持平
CRUX0.5200.560+7.7%
MMLU-Pro0.5780.583+0.5%
AlpacaEval17.5320.57+17.3%

关键发现：规模越大，Intuitor 越强。 在小模型上域内略弱的差距，在 14B 级别完全消失，域外优势进一步扩大。

初始学习速度：Intuitor 显著更快

模型方法GSM8K@step10MATH@step10
1.5BGRPO0.0810.296
1.5BIntuitor0.1520.368
3BGRPO0.7580.596
3BIntuitor0.8110.618

消融实验关键发现

  1. 替代内在信号全部失败： 熵最小化→崩溃到重复字符；原始 log prob→偏向短回答后崩溃；归一化 log prob→偏向长回答后不稳定。Self-certainty 是唯一稳定的内在奖励。

  2. 直接优化 self-certainty 会崩溃： 如果把 self-certainty 当作损失函数直接最小化（而非通过策略梯度的优势权重），模型会 reward hacking——初始准确率上升，然后迅速崩溃。必须用策略梯度中的相对优势来使用 self-certainty。

  3. KL 惩罚对域外性能至关重要： 域内指标对 KL 系数不敏感，但域外指标（LCB, CRUX）对 KL 系数高度敏感。β=0.005 是最佳平衡点。

  4. Intuitor → GRPO 顺序训练最优： 先用 Intuitor 训练 1 轮再用 GRPO 训练 1 轮，MATH500 达到 0.672，超过 GRPO 两轮的 0.644。简单的混合权重反而不如 GRPO。

  5. 跨域迁移有效： 先在 Codeforces 上用 Intuitor 训练，再在 MATH 上训练，GSM8K 和 MATH 都优于只在 MATH 上训练（0.808 vs 0.792, 0.644 vs 0.612），表明 Intuitor 训练的推理能力可以跨域迁移。

  6. 更大 rollout 有帮助： 从 7 个 rollout 增加到 14 个，GSM8K 从 0.792→0.814，MATH 从 0.612→0.644，减少优势估计方差。

4 个人分析

亮点

范式转换意义。 RLIF 框架把推理训练从”需要外部验证器”的约束中解放出来。这不仅是一个方法改进，更是一个认知层面的转变：预训练模型内部的置信度信号已经编码了足够的质量信息，可以被提取和利用。这与”LLM 是否真正在推理”的哲学争论形成有趣对照——如果模型自身的置信度就能指导推理改进，那至少说明模型的内部表征中确实包含了可利用的推理结构。

Self-certainty 的设计直觉。 KL(U ∥ p) 而非 KL(p ∥ U) 的选择——看似微小的方向差异，实则至关重要。前者衡量”均匀分布对模型分布的惊讶程度”，偏向于高置信度区域；后者（即熵）衡量”模型分布自身的分散程度”，容易被高频 token 主导。这个方向选择使得 self-certainty 天然抗长度偏置，是方法稳定性的根基。

在线奖励的共进化机制。 论文最有洞见的发现之一：离线 self-certainty 会被策略 exploit（追加已解题来膨胀奖励），而在线 self-certainty 随策略更新，自然阻止 reward hacking。这种”奖励与策略共进化”的思想，与对抗训练中的判别器-生成器动态平衡有异曲同工之妙。

Intuitor → GRPO 顺序训练的发现。 这暗示了一个重要的训练策略：先用内部信号”预热”推理能力，再用外部验证”精修”。这与人类学习过程高度一致——先建立直觉和自信（内在反馈），再通过考试验证和纠正（外部反馈）。

局限性

域内性能仍有差距（小模型）。 在 1.5B-3B 规模，Intuitor 在数学任务上比 GRPO 低 2~4 个百分点。这意味着在可验证奖励可得的领域，Intuitor 尚不能完全替代 RLVR——它更适合作为补充而非替代。

大模型训练稳定性问题。 7B+ 模型需要简化系统提示、降低学习率、增加 rollout 才能避免”行为崩溃”。这种脆弱性在实际部署中是显著障碍，论文未提供自动化的稳定性诊断方案。

MMLU-Pro 没有提升。 Intuitor 在通用知识基准上未见改善，有时甚至略降。这说明 self-certainty 驱动的学习可能主要改善”推理过程”而非”知识获取”——对于需要新知识注入的场景，RLIF 仍然力有未逮。

理论理解缺失。 为什么 self-certainty 能驱动有效的推理学习？论文提供了直觉解释（置信度-正确性相关性），但缺乏理论保证。在什么条件下 self-certainty 会失效？当模型能力远超/远低于任务难度时是否还有效？这些关键问题尚未回答。

对大模型领域的影响

对 RLVR 的补充和扩展。 Intuitor 不会取代 RLVR，但它为”无法提供验证器的领域”打开了大门。这包括创意写作、开放性问答、科学假设生成等场景——这些领域恰恰是大模型最有潜力但 RLVR 最难应用的场景。

对”AI 自主进化”的启示。 论文在讨论中引用了 weak-to-strong generalization 的工作（Burns et al., 2023），暗示当 AI 能力超越人类评估能力时，内部反馈可能是唯一的训练信号来源。RLIF 为后人类时代的 AI 自主改进提供了一种可能路径。

对训练范式的重新审视。 近期有工作（Huang et al., 2025）质疑 RLVR 是否只是”锐化”了基础模型的已有分布，而非真正教会模型新推理能力。Intuitor 的发现——过程感知奖励比结果奖励泛化更好——为这场争论提供了新视角：也许关键不在于奖励的”正确性”，而在于奖励信号是否能为学习过程提供更丰富的梯度信息。

5 实践启示

可以借鉴的技术

  1. Self-certainty 作为训练信号。 即使不用 Intuitor 的纯内部反馈模式，self-certainty 也可以作为 RLVR 的辅助信号——特别是在标注成本高的领域，用 self-certainty 筛选高质量 rollout 可以减少对外部验证器的依赖。

  2. Intuitor → GRPO 顺序训练策略。 先用 Intuitor 预热（1 轮），再用 GRPO 精调（1 轮），比纯 GRPO 两轮效果更好。这是一个低成本、高回报的训练策略改进，可以直接应用于现有的 GRPO 训练流程。

  3. 在线奖励更新的必要性。 如果使用任何基于模型内部信号的奖励，必须确保奖励估计随策略更新（而非固定），否则 reward hacking 是不可避免的。

  4. KL 惩罚的域外敏感性。 训练用于跨域部署的模型时，KL 惩罚系数应该以域外指标为准进行调优，而非仅看域内指标。

  5. 过程感知奖励的设计思路。 Self-certainty 的成功表明，连续的、过程感知的奖励信号可能比二值结果奖励更适合驱动泛化。未来设计新奖励函数时，应考虑其”过程感知性”。

潜在应用场景

  1. 无验证器领域的推理训练。 法律推理、医学诊断、科学假设评估等无法提供自动验证的领域，可以用 Intuitor 进行初步的推理能力训练。

  2. 多域联合训练。 利用 Intuitor 的跨域迁移特性，可以先在数据丰富的领域（如代码）训练推理能力，再迁移到目标领域。

  3. 自进化 AI 系统。 当 AI 能力接近或超越人类评估能力时（如超人类数学推理），外部奖励变得不可靠，RLIF 提供了一种可持续的自我改进机制。

  4. 低资源推理训练。 对于缺乏标注数据的语言或领域，Intuitor 的无监督特性使其成为推理训练的可行起点。

  5. 推理质量评估。 Self-certainty 作为推理置信度的度量，可以用于推理链质量的实时评估和动态推理预算分配。

“By reinforcing high-confidence responses, the model iteratively refines its reasoning pathways. Higher confidence correlates with correctness, creating a virtuous cycle.” — 论文对 self-certainty 工作机制的核心解释

“Self-certainty is a continuous, inherently process-aware reward derived from the model’s internal assessment across all tokens, contrasting with GRPO’s binary outcome rewards.” — 论文对过程感知 vs 结果感知奖励差异的阐述