论文精读

精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

把奖励从「成功／失败」两档拆成「成功 ≻ 退避 ≻ 错误」三档，用加权对数似然替换期望奖励，梯度就变成两个条件得分的凸组合、在饱和点不再按概率归零。AIME 上错误率 79.1% 降到 8.9%，成功率掉 3.1 个百分点，退避率是 74.1%。逐项对账后有三处对不上：论文自陈证明只对总体梯度成立，而照 Algorithm 1 实现出来的估计量在「全退避」与「全错误」两个顶点上梯度恒等于零，正是定理声称能逃出的那两个点；3.1pp 在 90 道题上等于 2.8 题，小于二项标准误 4.2pp；扫雷上两臂的退避率几乎相同（15.6% 对 16.6%），多出的 10 分成功率不是靠多退避换来的。

论文： Training Language Models to Fail Gracefully

作者： Daman Arora, Xuecheng Liu, Himanshu Gaurav Singh, 等

arXiv： 2610.20401

2026年10月18日 RLVR 退避行为选择性预测对数似然目标策略梯度梯度饱和奖励设计后训练

1 论文概览

本文是 arXiv:2610.20401（CMU，cs.LG，v1 2026-10-14）。本专栏前四十一期改的都是「信号怎么造、怎么记账、从哪条通道进来、以什么形状落到参数上」；这一期改的是奖励有几档——从「成功／失败」两档，扩成「成功 ≻ 退避 ≻ 错误」三档。

一句话总结：给「放弃」一个介于成功与错误之间的价码，用对数似然目标替换期望奖励目标，模型就学会在拿不准时退避而不是猜；AIME 上错误率从 79.1% 掉到 8.9%，成功率的账面代价 3.1 个百分点，实际代价是 74.1% 的题不再给答案。

核心问题：RLVR 只给「做对」发钱。凡是做不对的题，猜一把的期望收益严格高于体面认输，训练于是把「猜」也一起奖了出来。论文把这条激励写成一句很干净的话：

“When success is the only way to earn reward, opting for a safe fallback is always worse than a long-shot attempt.”（Abstract）

这套激励在数学题上表现为准确率问题，在能改数据库、能提交代码的 agent 上就是事故。要让模型学会收手，得让「退避」成为一个能被奖励的独立结局，而不是失败的另一种叫法。

主要贡献

把结局空间从二元扩成三元，并证明期望奖励目标在这种奖励下会退化：策略一旦饱和到某个结局，梯度按 $1-p_o$ 缩到零，「永远退避」与「永远出错」两个顶点一旦踩进去就出不来。
换目标：最大化两个事件的加权对数概率 $\mathcal{J}=(1-c)\log p_S+c\log(1-p_E)$ ，导出的梯度是两个条件得分向量的凸组合，系数之和恒为 1，于是两个坏顶点附近仍是 $\Theta(1)$ 。
给出可以直接照抄的估计量（Algorithm 1）：把 $1/p_S$ 换成 $1/N_S$ 、 $1/(p_S+p_F)$ 换成 $1/(N_S+N_F)$ ，加一个平滑常数 $\varepsilon$ ，不改框架就能跑。
在 SafeMaze（4M ResNet）、四个数学基准（Qwen3-1.7B/4B）、扫雷（Qwen3-4B-Instruct 多轮）三套设置上给出可靠性前沿，并顺带发现模型会在思维链里把「我要放弃了」说出来。

2 方法详解

三档奖励。给定轨迹 $y$ ，verifier 返回三种结局之一，奖励取 $r=1$ （成功）、 $r=c$ （退避）、 $r=0$ （错误）， $0<c<1$ 。 $c$ 这个名字在两处出现、含义不同，读的时候要分清：在期望奖励目标里它是退避的绝对价码，在论文提出的目标里它变成了两个事件的混合权重。第三节会看到这个区分决定了整篇的结论怎么读。

为什么朴素做法会塌。设 $p_o$ 为结局 $o\in\{S,F,E\}$ 的概率， $g_o=\mathbb{E}[\nabla_\theta\log\pi\mid \tau\in\mathcal{T}_o]$ 是「在结局为 $o$ 的条件下」的平均得分方向。由 $\nabla p_o=p_og_o$ 与 $p_Sg_S+p_Fg_F+p_Eg_E=0$ 两条恒等式，期望奖励目标的梯度是

$\nabla\mathcal{J}_{\mathrm{pg}}=p_Sg_S+c\,p_Fg_F,$

每个得分方向前面挂着它自己的概率。论文的 Proposition 3 把它压成 $\|\nabla\mathcal{J}_{\mathrm{pg}}\|\le G(1-p_o)$ ：策略越是确信某一种结局，能把它推离这个结局的力就越小。这不是「某一档奖励调得不好」，是目标函数自带的。

换目标。论文最大化两个事件的对数概率： $E_1=\{$ 成功 $\}$ ， $E_2=\{$ 非错误 $\}$ ，权重 $1-c$ 与 $c$ 。用 $g_E=-(p_Sg_S+p_Fg_F)/p_E$ 代进去，可以把它化成

$\nabla\mathcal{J}_{\log}=\tilde\lambda\,g_S+(1-\tilde\lambda)\,g_F,\qquad \tilde\lambda=(1-c)+c\frac{p_S}{p_S+p_F}\in[1-c,\,1].$

这一步值得停一下。等号右边没有任何概率因子挂在 $g$ 外面，两个系数加起来正好是 1，所以整条梯度就是「成功方向」与「退避方向」的一个凸组合，混合比例取的是非错误结局内部的成功占比 $\lambda=p_S/(p_S+p_F)$ 。 $p_S$ 与 $p_F$ 一起趋零时 $\lambda$ 不动，梯度就不会塌。论文用对数障碍（log barrier）解释这件事，几何上等价，代数上就是这一行。

这一项的物理意义。 $\tilde\lambda\in[1-c,1]$ 说明 $c$ 是「成功方向」权重的下界： $c=0$ 时 $\tilde\lambda\equiv1$ ，目标退化成 $\log p_S$ （也就是 MaxRL）； $c=1$ 时 $\tilde\lambda\equiv\lambda$ ，只剩「别出错」。中间取值让权重随策略自己漂移——策略越擅长成功， $\lambda$ 越大，越偏向成功；越不擅长，权重越往退避那边挪。这一条是全文的机制核心：退避的相对价码不是外部常数，而是当前策略的成功率算出来的。

估计量。Algorithm 1 的每个 prompt 采 $N$ 条，按结局计数 $N_S,N_F,N_E$ ，逐条给优势

$a_n=\frac{(1-c)\mathbf{1}\{f_n=S\}}{N_S+\varepsilon}+\frac{c\,\mathbf{1}\{f_n\ne E\}}{N_S+N_F+\varepsilon},$

再减去组内均值。 $N\to\infty$ 且 $\varepsilon=0$ 时这就是上面的 $\nabla\mathcal{J}_{\log}$ ；有限样本下把真概率换成了计数， $\varepsilon$ 用来压住 $N_S$ 很小时的放大倍数。论文证明 $\varepsilon$ 带来的偏差是 $O(\varepsilon)$ ，方差随 $\varepsilon$ 线性下降、偏差平方是 $O(\varepsilon^2)$ ，所以小 $\varepsilon$ 降 MSE。

与基线的区别。同一批作者的另一条线（MaxRL、TailRL）从「提升 $\mathrm{Best}@K$ 的尾概率」出发，导出形式相同的目标；本文给的是优化视角的重新解释，并把 TailRL 用在三档奖励上。与 RLCR 这类「先训校准再阈值化」的路子比，差别在于退避是策略的一部分而不是推理期的外挂规则；与 Recovery RL 这类安全 RL 比，差别在于不训练一个单独接管的恢复策略，而是把退避与成功放进同一个目标里联合学。

3 实验结果

AIME 上的账面。Qwen3-4B-Base，DAPO-Math-17K，1000 步，单模型在五档 $c\in\{0,0.2,0.4,0.6,0.8\}$ 上联合训练，推理时用一句风险提示词选档。Fig. 1(c) 的两个柱子：

条件	Success@1	Error@1	退避率（推算）
$c=0$ （等价二值奖励）	20.1%	79.1%	~0
$c=0.8$	17.0%	8.9%	74.1%

错误率的相对降幅 88.8%，成功率掉 3.1 个百分点。这几个数在正文、摘要、图注三处一致，可以直接引用。

把这张表读到底。三档加起来必须是 100%，所以 $c=0.8$ 那一行的退避率是 $100-17.0-8.9=74.1\%$ 。也就是说，这个模型在 AIME 上对四分之三的题不给答案。把分母换成「实际作答的那些题」，准确率从 $20.1/(20.1+79.1)=20.1\%$ 变成 $17.0/(17.0+8.9)=65.6\%$ ，3.3 倍。这才是这条结果的真身：它不是让模型更会做题，是让它少说废话——代价是把 74% 的题留白。

3.1 个百分点有多重。AIME 2024–2026 按每年两场各 15 题算是 90 题，3.1pp 等于 2.8 道题。以 $p=0.2$ 、 $n=90$ 算二项标准误是 $\sqrt{0.2\times0.8/90}=4.2$ 个百分点，配对比较会小一些，但 90 题里能翻转的样本本来就没几道。全文 grep 不到任何训练种子，LLM 的三个设置各跑一次。所以「只掉 3.1pp」这句话的精度，低于它想表达的量级；真正站得住的是另一侧——79.1% 到 8.9% 是 70 道题的位移，那个不需要统计检验。

跨尺度并不便宜。Fig. 12 的同一条前沿在 1.7B 上是 $c=0$ 的成功率 8.0%（错误 95%）、 $c=0.8$ 的 3.8%（错误 5%），成功率相对损失 52.5%；4B 上同一个 $c=0.8$ 的相对损失是 15.4%。同一个旋钮，小模型上要拿一半的成功率去换。摘要里的「only 3.1 percentage points」是 4B 的数，换一个尺度就是另一句话。

五档混训本身不要钱。Fig. 16 把 $c=0$ 与一条独立的二值奖励 MaxRL 画在同一张图上（中性提示词、无风险后缀）。 $c=0$ 在 800 步是 20.6%、MaxRL 是 19.7%，1000 步时两者分别是 19.6% 与 19.9%，落在同一条线上。这条对照很关键：它说明「五个后缀混在一起训」没有稀释每个条件的数据效率， $c=0$ 那一条可以当标准 RLVR 用。同一张图还显示 $c=0$ 与 $c=0.8$ 的差在 800 步约 5.1pp、在 1000 步约 2.7pp——谨慎的价钱随训练变长而下降，论文的 D.7 用加算力把整条前沿往上推的结果与这个一致。

扫雷：增益不来自退避。Qwen3-4B-Instruct-2507，250 步，训练 8 步局、评测 12 步局、500 道留出题：

方法	$c$	Success@1	Error@1	退避率（推算）
MaxRL	0	67.4	17.0	15.6
GracefulRL	0.25	66.0	13.4	20.6
GracefulRL	0.5	77.4	6.0	16.6
GracefulRL	0.75	73.6	5.6	20.8
RLOO	0.5	0.0	0.0	100

$c=0.5$ 把成功率与错误率一起赢了下来，是全篇最漂亮的一格。把退避率算出来，这一格的说服力换了个方向：MaxRL 的退避率 15.6%， $c=0.5$ 的退避率 16.6%，两者几乎相同。多出来的 10 分成功率不是靠多退避换来的，是这条奖励把策略推到了不同的棋盘状态上。论文自己也这么猜：

“We hypothesize that in this setting, learning a reliable fallback steers the model toward safer board states from which successful completion is more accessible. In this sense, the fallback reward may act as a form of reward shaping.”（§5.3.1）

这句话诚实，也把这一格的机制从「学会退避」改成了「退避这个选项改变了探索轨迹」。两者都算贡献，但不是同一件事。

SafeMaze：脆弱性的定量边界。15×15 迷宫，Safe 格与起点之间有一条常通路径，Goal 要在 50 步内解出来。 $c=0.1$ 时退避概率趋零、错误率高企； $c=0.2$ 时保住一部分成功但很快平台化； $c\ge0.3$ 时几步之内就塌到「永远去 Safe」。论文的总结是：

“Thus, useful behavior only occurs in a narrow range of fallback rewards rather than emerging robustly from the desired reward ordering.”（§5.1.1）

这个「窄区间」其实有结构：有用区间大致是 $c<p_S$ 。这也是在线奖励调参基线（ $c_t=\alpha\hat p_{S,t}$ ， $\alpha\le1$ ）能在同一张图上画出有意义的曲线的原因——它每一步都把退避价码压在当前成功率之下。

超参之间互相咬。Fig. 9(a) 的 rollout 数扫描给出一条硬约束： $c=0.8$ 时 $N=16$ 与 $N=32$ 都塌到退避解，只有 $N=64$ 保住非零成功。也就是说，想要的谨慎程度越高，每条 prompt 需要的采样数越多；「对奖励量级鲁棒」这句话成立的前提是 $N$ 跟着 $c$ 一起加。 $\varepsilon$ 的扫描（Fig. 9b）显示 $\varepsilon=3$ 早期最好、 $\varepsilon=1$ 后期最好，而 LLM 实验直接固定 $\varepsilon=1$ ，另在 D.4 里补了一条 $\varepsilon\in\{0,1\}$ 的两点对照。

跨域迁移。AbstentionBench 20 个数据集、8,220 条 prompt（44.7% 不可答），模型只在数学上训过。平均 abstention $F_1$ 从 $c=0.2$ 的 0.472 升到 $c=0.8$ 的 0.677，Qwen3-4B-Instruct-2507 是 0.590。 $c=0.2$ 那一档低于 instruct 基线， $c\ge0.6$ 之后才反超；论文用的说法是 “hints of generalization”，分寸拿得对。

基线被自己的目标拖了后腿。RLCR 用 Brier 奖励训校准，测试时扫阈值 $\tau$ 画前沿。D.5 明说这条目标会拿准确率换校准：4B 在 AIME 上准确率 400 步见顶后下滑，Brier 继续变好。1.7B 的 checkpoint 按 Brier 选在第 600 步，GracefulRL 选在第 1500 步。MATH500 上 4B 的两条前沿在同等错误率下差 6–10 分，这个差里有多少是「退避机制更好」、多少是「基线被校准目标削掉了准确率」，表里分不开。

4 个人分析

亮点

第一，问题选得准，而且选在了一条正在变贵的边界上。前四十一期几乎都在问「怎么让模型更会做对」；这一期问的是「做不对的时候它做什么」。agent 化的趋势让后一个问题从体验问题变成安全问题，而现有配方里退避根本没有位置。

第二，理论—实现—实验三段对得上。Proposition 3 给上界、Proposition 5 给下界、Algorithm 1 给估计量、三套环境给前沿，链条完整。更值钱的是那个代数化简： $\nabla\mathcal{J}_{\log}=\tilde\lambda g_S+(1-\tilde\lambda)g_F$ 。看到这一行，任何一个「奖励权重之和为 1」的目标都能立刻判断它会不会塌，这是个可迁移的判据，不是这篇论文的私有结论。

第三，作者愿意把 $c=0$ 与独立训练的 MaxRL 并排画（Fig. 16）。多条件混训最容易出的问题就是「每一档都只分到五分之一数据」，这条对照把这个疑虑直接排掉了。

局限性

最要紧的一条：论文的定理与论文的代码说的不是同一件事。Appendix A 开头自己写了

“It is worth noting that our proofs are only for the population level gradients and not for stochastic estimators which we actually use.”（Appendix A）

把 Algorithm 1 代进两个坏顶点验证一下，这句限定有多重就清楚了。若一组 $N$ 条全是退避， $N_S=0$ 、 $N_F=N$ ，每条的优势都是 $c/(N+\varepsilon)$ ，组内均值也是它，去均值后每条优势都是 0，梯度恒等于零。全是错误时同理。这两个点正是 Proposition 5 声称「梯度仍是 $\Theta(1)$ 、能爬出来」的两个点。总体目标在那里有信号，估计量在那里没有信号；靠的是采样运气偶尔采到一条成功，才把 $g_S$ 这一项点着。

这一条可以直接量化。取 $N=32$ 、 $p_S=0.02$ （正是需要退避的那一档难度），一组里一条成功都没有的概率是 $0.98^{32}=52\%$ ； $p_S=0.08$ 时是 $0.92^{32}=6.9\%$ 。在「该退避」的难度区间里，超过一半的 prompt 每步拿不到一比特的成功方向信号。论文在 SafeMaze 上观察到的「GRPO/RLOO 塌到退避解」，GracefulRL 没塌——但它不塌的原因更像「从没走进去」，而不是「走进去还能出来」。想要后者，得有一条 $\varepsilon$ 之外的设计（比如显式的重要性重采样、或对 $N_S=0$ 的组单独补采样）。

第二条：平滑常数把机制本身削掉了一角。 $\varepsilon=1$ 时成功项的权重是 $(1-c)/(N_S+1)$ ， $N_S=1$ 的那条稀有成功只拿到 $(1-c)/2$ ，正好腰斩； $N_S=4$ 拿到 0.2 而不是 0.25，少两成。而「稀有成功样本的权重不被概率压掉」正是这套目标相对策略梯度的全部优势。论文用 $\varepsilon=1$ 跑完所有 LLM 实验（Table 1、Table 2），LLM 上只做了 $\{0,1\}$ 两个点的对照，离 Proposition 6 的 $\varepsilon\to0$ 渐近区间不近。

第三条：指标对允许「全退避」成为帕累托最优。论文的判据是「成功率不低于、错误率不高于」。扫雷表里 RLOO 塌成 0.0/0.0，按这个判据它不被任何方法支配——没有任何方法的错误率低于 0。表里给它打了 †，但 † 是注释，不是判据。要堵这个洞，得再加一个量：作答率、作答集内的准确率、或者带效用的单一分数 $u=\text{Success}+c\cdot\text{Fallback}$ 。这一条不是笔误，是三档奖励本身带来的：一旦退避有了价，任何只用两维画的图都会把「全退避」读成好解。

第四条：3.1pp 的精度低于它想表达的量级。90 道题、单次训练、无种子，前面算过标准误 4.2pp。与之相对， $c=0.8$ 那一格本身的抽样误差也在这个量级（17.0% 的成功率在 90 题上是 15.3 道题， $\pm1$ 道题就是 $\pm1.1$ pp）。想把这句「只掉 3.1pp」当结论用，至少要有三个种子。

第五条：谨慎的旋钮在推理期，不在模型里。五档 $c$ 靠一句提示词选，意味着「该多谨慎」这个决定由使用者下，模型只决定「哪些题属于当前档位下的不可靠」。这与摘要里的叙事有落差：

“the model learns when to fall back from its own interaction with the environment with no labels specifying which problems are too hard”（§1）

「没有标注告诉它哪些题太难」是对的；「它自己决定该多谨慎」不对，那是后缀决定的。一个更干净的对照是：去掉后缀、改成让模型自己输出一个档位，看它能不能学到与 $c$ 一致的自评。论文没做。

第六条：机制证据的覆盖面窄。理论在 3 类 softmax 玩具与 4M ResNet 上验证（Fig. 2、Fig. 3），LLM 上的证据是「换了目标之后前沿更好」，没有一条把「梯度不塌」这件事在 LLM 上直接测出来（比如记录 $N_S=0$ 的组占比、或 $\|\nabla\|$ 随 $p_F$ 的轨迹）。作者把 $\|\nabla\|$ 的曲线留在玩具上，这在写作上是省事的选择，也让「为什么 LLM 上有效」这个问题停在合理猜想。

第七条：未覆盖的工况作者自己点了：只做在线 RL、没碰 off-policy；没做代码 agent 与长程 agent 训练（算力所限）；退避语义跨域不一致。

“our method is designed for online RL, and we have not studied its behavior under off-policy training.”（§7）

对大模型领域的影响

短期看，这条线会以「奖励档数」的形式进入 agent 后训练：工具调用失败、权限不足、需求歧义，都是天然的退避结局，而现在的配方一律把它们算成 reward 0。谁先把这些结局分开标价，谁就能拿到一批「不乱动」的模型。

中期看， $\nabla\mathcal{J}_{\log}=\tilde\lambda g_S+(1-\tilde\lambda)g_F$ 这个形式会扩散。它说明「目标在饱和点塌不塌」取决于权重之和是否为 1，与奖励怎么设计无关——这个判据可以用来体检任何新提出的 RLVR 变体，包括那些号称解决了熵坍缩的工作。

更长的一层：这篇把「能力边界」从评测概念变成了训练对象。此前的做法是训完再测「它知不知道自己的边界」（校准、弃答、置信度），这篇把边界写进奖励序里联合学。如果这条路走通，下一步必然是「边界随算力移动」的标定问题——D.7 已经露出苗头，加算力能把整条前沿抬起来，那退避训练到底是在教能力还是在教自我评估，就成了必须分开测的两个问题。

5 实践启示

可以直接借鉴的三件事

一，把「奖励权重之和为 1」当体检项。任何多结局奖励，先看挂到每个条件得分前的那个系数在饱和点的取值——期望奖励目标下它是 $p_or_o$ ，策略一确信某个结局就一起归零。GracefulRL 的做法是换成对数概率，系数自动变成和为 1 的凸组合。这条对三档以外的设计同样成立： $K$ 档奖励配上 $\sum_k w_k\log p_{E_k}$ （ $\sum_k w_k=1$ ），梯度就是 $K-1$ 个条件得分的凸组合。

二，多档谨慎度用一个模型训、推理期用后缀选。五档混训不损失效率（Fig. 16 的 $c=0$ 与 MaxRL 打平），换来的是不用为每个阈值重训一个模型。做安全相关的 agent 时这条特别省事：同一个 checkpoint 可以按场景切「激进／保守」，A/B 成本从「训两次」降到「换一句话」。

三，扫雷这一格的读法。 $c=0.5$ 多出的 10 分成功率不是退避换来的（两臂退避率 15.6% 与 16.6%），是奖励塑形改变了状态访问分布。凡在序贯环境里加「安全选项」，都该把退避率与成功率分开报，否则无法判断增益来自策略变好还是来自目标变保守。

不建议照搬的部分

$N_S=0$ 的组是这套估计量的盲区。若你的任务里「难到该退避」的 prompt 占比很高（ $p_S<5\%$ ），先算一遍 $0.95^{N}$ 有多少组拿不到成功信号；这个数超过三成，就得在采样层补一道（对零成功的组追加采样，或按难度分层配 $N$ ），指望优势函数自己爬出来不现实。

$\varepsilon=1$ 是「压方差」的默认值，不是「保机制」的默认值。它把稀有成功的权重腰斩，恰好削在卖点上。LLM 上先扫 $\{0,0.5,1\}$ 三点，看前沿怎么动，再定。

潜在应用场景

工具调用型 agent：把「权限不足／参数不明／工具报错」定义成退避结局，给中间奖励。比在推理期加一层规则拦截更省事，也更少漏。
代码 agent：提交前自检不通过就走「回滚 + 说明」，比硬提一个编译不通过的 PR 便宜得多。
高风险检索问答：医学、法律、财务域里「不知道」是有价值的输出， $F_1$ 那一栏的 0.677 说明这条行为能从数学迁到别的域。
反向用法：把 $c=0$ 与 $c=0.8$ 两条前沿的横向距离当「这个模型的谨慎有多贵」的度量。距离短说明加一点谨慎几乎不掉分，适合直接上；距离长说明它的能力本来就在边界上晃。

若要复现，建议按这个顺序核

先按 Algorithm 1 逐行实现，把 $\varepsilon=0$ 与 $\varepsilon=1$ 各跑一遍 SafeMaze，看 $c\ge0.3$ 是否还塌。塌了说明「鲁棒」来自 $\varepsilon$ 而不是目标。
打点记录每一步 $N_S=0$ 的组占比。这个数在 AIME 上应该很低、在 DAPO 的长尾上应该不低，两条曲线能直接说明估计量的盲区有多大。
补一条无后缀、让模型自评档位的对照臂，测「谨慎度自选」能不能学到与外部指定一致的分布。
加三个种子，把 AIME 的 3.1pp 配上一个区间，再决定这句话能不能写进摘要。
若要往 agent 上搬，先在环境侧把退避结局定义成可校验的（回滚成功／交回控制权），否则模型会学会用「我退了」来规避扣分。

参考文献

Arora, D., Liu, X., Singh, H. G., Tajwar, F., Thankaraj, A., Salakhutdinov, R., Feng, H., Song, Y., & Zanette, A. (2026). Training Language Models to Fail Gracefully. arXiv:2610.20401 [cs.LG]. Carnegie Mellon University & UC Berkeley. v1 2026-10-14, 41 pages.

Tajwar, F., Zeng, G., Zhou, Y., Song, Y., Arora, D., Jiang, Y., Schneider, J., Salakhutdinov, R., Feng, H., & Zanette, A. (2026). Maximum likelihood reinforcement learning. 本文的 $c=0$ 端点即此目标。

Ramasubramanian, S., Arora, D., Tajwar, F., Zeng, G., Wu, Q., Zhou, Z., Xu, C., Feng, H., Song, Y., Singh, A., Salakhutdinov, R., Bagnell, J. A., Schneider, J., & Zanette, A. (2026). Tail-likelihood reinforcement learning. 本文目标即其在三档奖励上的特例。

Damani, M., Puri, I., Slocum, S., Shenfeld, I., Choshen, L., Kim, Y., & Andreas, J. (2026). Beyond binary rewards: training LMs to reason about their uncertainty. ICLR 2026. 基线 RLCR 的出处。