精读：不跑 RL，先用已有策略把新奖励的结果预测出来

1 论文概览

一句话总结：PoEM（Product-of-Experts Mixing）不训练任何参数，只用一批「各为一个奖励做过 RL」的 LoRA 专家在小校准集上做一次最小二乘，就在解码时把它们的 log-ratio 线性组合起来，逼近「若真的拿新奖励跑一遍 RL 会得到什么策略」——作者称其奖励恢复误差接近两次 RL 运行之间的自然波动。

核心问题：后训练界的一个常识是奖励一改，RL 就得从零重跑。权重平均这类省事做法在专家数量变多时互相稀释，best-of-N 只在奖励便宜、采样便宜的窄区间里划算。作者把这件事换了个问法：

Given a basis of single-reward post-trained adapters, can we predict the RL outcome on a new reward without training? —— PoEM, Section 1

主要贡献

1. 闭式解的乘积专家形式。在 KL 正则化 RL 下，最优策略是参考策略的指数倾斜；若新奖励是基奖励的线性组合，目标策略恰好是各专家策略的加权几何混合（式 4），序列级上严格成立。
2. 权重可以从样本里回归出来。不需要用户给定 α：把新奖励在少量响应上的中心化得分，对基奖励（式 9）或对专家的隐式奖励 βφ_k（式 11）做岭回归即可。
3. coverage 分数（式 12）在解码前判断能不能做。它是目标奖励对专家 log-ratio 回归的 held-out R²，高则可信，低则应当拒答或补训一个新专家。
4. 一个反直觉的几何发现：20 个适配器在参数空间几乎互相正交（权重更新有效秩 19.4/20，两两余弦中位数 0.02），在 log-likelihood 空间只占 6.3 个有效方向，约为奖励矩阵的一半。
5. 跨模态验证：语言侧 5 个基座、图像侧 13 个 DDPO 适配器，覆盖组合奖励、留出奖励、几何三类实验。

2 方法详解

架构与方法概述

每个基专家 π_k 都是在同一个参考模型 π_ref 上、用同一个 KL 正则目标

$J_{r_k}(\pi)=\mathbb{E}_{x,y\sim\pi}[r_k(x,y)]-\beta\,\mathrm{KL}(\pi\|\pi_{\mathrm{ref}})$

对一个奖励 r_k 做后训练得到的。这个目标的最优解有闭式形式 π*_r ∝ π_ref·exp(r/β)。把 r_tar = Σα_k r_k 代进去，指数上的加法变成策略上的乘法：

$\pi^*_{\mathrm{tar}}(y\mid x)\propto\pi_{\mathrm{ref}}(y\mid x)\prod_{k=1}^{n}\Big(\frac{\pi_k(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\Big)^{\alpha_k}$

自回归模型不能在整个响应空间上算配分函数，于是作者把同一条规则下放到每个 token：把各家 next-token logits 的对数差 φ_k(h_t, y_t) 按 α 加权加回 π_ref 的 logits（式 6）。这一步只取 logits，不做任何参数更新。

扩散模型那一支是独立的推导：对后验取对数梯度后用 Tweedie 公式把 score 换成条件期望，得到目标去噪器约等于各专家去噪器的线性组合，外加一个 σ²(t)∇log Z(x_t) 的修正项（式 8）。作者用 Hölder 不等式说明 Z ≤ 1，且该修正项在 σ(t)→0 时消失、在基策略为同协方差高斯时恒为零，一般情形下非零——组合去噪器是近似而非恒等。

关键创新点

权重在策略空间拟合，而不在奖励空间。式 11 用 βφ_k 当特征，其依据是式 10 的恒等式：训练好的策略本身就是「某个奖励」的 KL 最优解，那个奖励就是它相对参考模型的对数概率差。这让 PoEM 在基奖励不可得（比如专家是别人发布的模型）时照样能跑。原文对两条路径的区别说得很清楚：

$\bm{\alpha}^{\mathrm{R}}$ describes how we can recover $r_{\mathrm{tar}}$ from rewards, $\widehat{\bm{\alpha}}$ describes how we can express it in terms of the directions of basis policies. —— PoEM, Section 2.4

把充分条件换成必要条件。式 4 的推导要求奖励线性可分；PoEM 解码器真正依赖的是目标 log-policy 落在专家 log-ratio 的张成空间里。前者蕴含后者，反过来不成立。Section 4.2 的低秩测量给了后者一个经验支撑：有效维数 6.3 远小于 20，一个 20 维基张成的低维子空间被密集覆盖。

γ 强度补偿。GRPO 在组内按标准差归一化奖励、DPO 只保留成对排序，两者都丢弃了奖励的绝对尺度，而 PPO 把 KL 放进奖励时保留了尺度。于是多个专家 log-ratio 的加权平均会比 π_tar 的 log-ratio 短一截。作者给出无需训练的闭式补偿 γ_geom（式 14，基于专家 log-ratio 的 Gram 矩阵），它在专家互不相关时等于 1/‖α‖₂。

coverage 作为拒答机制。这是全文最有用也最诚实的设计：coverage 在解码前算出，衡量「专家已有的方向」能解释多少目标奖励，据此决定信不信这次预测。

与基线方法的区别

• 对权重平均（task arithmetic / TIES / AdaMerging）：PoEM 不在参数空间混合，在 logit 空间混合，绕开了「更新方向互相稀释」的问题。注意：这条对照只在引言和相关工作里被点名，实验里没跑（见第 4 节）。
• 对 MOD：MOD 用用户指定的权重混合单目标策略的 logits，等价于「权重已知」的 PoEM（其 reverse-KL 规则在 γ=1 时与 PoEM(α*) 重合）。PoEM 多出的是权重拟合与 coverage 检验。
• 对 DeRa：DeRa 在对齐策略与参考模型之间插值来调正则强度，PoEM 组合的是多个方向而非单一强度旋钮。
• 对多目标对齐（multi-objective DPO / 条件 PPO / 多头 RM）：那些方法把权重在训练前固定，PoEM 把权重留到训练后由校准集决定。
• 对 best-of-N：best-of-N 解码时要对每条候选查 r_tar，PoEM 只在小校准集上查一次。

3 实验结果

六套基座全部是 LoRA：语言侧统一 Qwen3-0.6B（rank 64），P-GRPO 用 GRPO 训练 20 个程序化奖励（词表多样性、正式度、可读性、句长等），P-DPO 用 DPO 在同一批奖励上离线训练；RM-RB 是 4 个 RewardBench 高分奖励模型，RM-HH 是 ArmoRM 的 helpfulness / harmlessness 两个头，RM-Div 是 10 个公开 7–8B 奖励模型；图像侧 SD-DDPO 是 13 个 Stable Diffusion v1.4 适配器（10 个图像统计量 + 3 个图像 RM）。

主表（表 1，组合奖励，奖励误差 ↓，π_ref 记 1、π_tar 记 0）

基座	target 数	PoEM(α̂)	PoEM(α*)	最优单专家	best-of-16	第二次 RL	相对 KL	更近
P-GRPO	32	0.28	0.19	0.23	0.37	0.12	0.24	32/32
P-DPO	32	0.19	0.21	0.32	0.40	0.17	1.05	13/32
RM-RB	8	0.05	0.08	0.13	0.24	–	0.29	8/8
RM-HH	3	0.07	0.22	0.07	0.22	–	0.58	3/3

留出奖励（表 2）：coverage 与奖励误差的秩相关 ρ 在三个基座上为 −0.79 / −0.71 / −0.81。被覆盖的奖励恢复 0.55 / 0.69 / 0.60，未覆盖的只有 0.22 / 0.29 / 0.43。P-GRPO 上 9 个被覆盖的预测全部比参考模型更接近 π_tar，未覆盖的 11 个里只有 5 个。

消融的关键发现

• γ 只能救有方向的，救不了没方向的。γ 从 0.5 升到 2，P-GRPO 上被覆盖的中位恢复从 0.18 升到 0.64；未覆盖的一路只到 0.26 并且继续远离 π_tar。即便把 γ 逐个奖励对着 π_tar 调（灰柱，仅供参照），未覆盖的仍是 0.60 / 0.39，而被覆盖的是 1.04 / 0.88。
• k 增大时 γ_geom 是必需的。γ=1 时 PoEM(α*) 的恢复在 k>2 之后下滑，γ_geom 把它拉回 0.8–1.2。γ_geom 随 k 增长，在 k≤4 时贴合独立专家的理论值 1/‖α*‖₂，更大的 k 上低于该值（专家之间开始重叠）。
• 局部归一化不是瓶颈（表 9）。解码器与序列级乘积相差 0.62–2.72 nats/响应，重加权后组合奖励变化不超过 0.03 个 z 单位；六个设置里序列级乘积在五个上显著更远离 π_tar。附录 A 的 2ε 保证只对序列级乘积成立，与实现脱节，作者把这个脱节量测了出来。
• 第二次 RL 运行的噪声底：P-GRPO 0.12、P-DPO 0.17。

4 个人分析

亮点

把「能不能做」变成可计算的量，是这篇最值得抄的部分。多数组合类工作止步于「组合之后分数更高」，PoEM 额外给了一个解码前就能算、不碰目标策略的数（coverage），并证明它与两个独立指标都强秩相关（在 P-GRPO 上与距离的秩相关 −0.92，优于同一基座上与奖励误差的 −0.79）。这让「这次预测不值得信」成为一个能事先说出口的结论，而不是事后看分数才知道。

rank gap 是一个可被别人复用的观测。参数空间 19.4 对 log-likelihood 空间 6.3，这个 3 倍差距支持「后训练主要是在重加权参考模型已经会的东西」这一说法，也解释了为什么组合能成立。作者在讨论里把它收成一句很克制的话：

RL on a new reward can be predicted when it would move the policy in a direction the basis already has. We have only checked this on small models. —— PoEM, Section 6

理论诚实度高于平均。式 8 的修正项、式 6 与式 4 的差异、γ_geom 只在理想情形精确，三处都明写了适用边界，附录 C.2 还用重要性采样把解码器与序列级乘积的差距量化成表。

局限性

扩散那一支不是预测，是事后拟合。表 3 的脚注写明「The weights are fit to π_tar at every denoising step」，附录 B.3 进一步说明权重来自对留出专家噪声预测的最小二乘拟合。图像侧的 13 个结果需要先把 RL 跑完、拿到目标模型才能算权重；语言侧 129 次预测（P-GRPO 52、P-DPO 52、RM-RB 12、RM-HH 3、RM-Div 10，组合与留出相加）一次都没有接触 π_tar。跨模态验证的这一支与摘要里「approximates the target RL policy without actually running any additional RL training」不在同一个证据等级上。

「误差接近两次 RL 之差」只在子集上成立。表 1 全 32 个 P-GRPO target 上，PoEM(α*) 是 0.19，第二次 RL 运行是 0.12。附录 C.1 说在 9 个有重跑的 target 上两者中位数都是 0.12，「但其中 6 个第二次运行更接近 π_tar」。headline 依赖 32 选 9 的子集；全集对减给出的差是 0.07。

n=2 时组合没有优势。RM-HH 行里 PoEM(α*) 误差 0.22，最优单专家 0.07，best-of-16 也是 0.22——用真权重组合两个 ArmoRM 头，比直接挑权重大的那个单干更差。拟合权重 α̂ 反而做到 0.07。这说明在专家不完美优化时，策略空间拟合是在修正真权重，正文只报了「recovers 0.78 to 1.08 of π_tar’s reward gain」这一句，没有提这一行。

恢复了奖励不等于像目标策略。P-DPO 相对 KL 是 1.05，意思是组合结果比参考模型离 π_tar 更远，32 个里只有 13 个更近；RM-HH 是 0.58。离线 DPO 专家的组合在分布意义上不成立，「rec」指标与「像不像」在这里分道扬镳。

动机里点名的对照方法一个都没跑。引言说权重平均随模型数增加退化（引 [51][52] 即 TIES-Merging、AdaMerging），相关工作也用了一整段讨论参数空间平均的适用条件，而表 8 的基线只有 best-of-N、最优单专家、DeRa、MOD。被当作出发点的那条基线没有被实测过，PoEM 相对它的优势是引用得来的。

coverage 的阈值篇内不统一。0.3 这个阈值「set on an earlier decode of the same experts」，即在同一批专家的早期解码上调过；RM-Div 的 coverage 全部低于 0.3，于是改用中位数切分；RM-RB 留出奖励的 coverage 接近 0，恢复却有 0.56–0.83（因为「its reward models largely agree」）。作者自己的结论是对的——coverage 只能基座位内排序，不能当跨基座阈值——但这让「0.3」在四个基座上代表四种含义。

低秩里有一部分是长度。附录 C.4 自陈「part of this shared structure is response length」。长度是 RL 后训练里最廉价、最容易被 hack 的方向，20 个程序化奖励里本身就含 mean sentence length、average word length、polysyllabic word density 等长度相关项。6.3 这个数就不完全是语义方向的维数。

规模与评测面都偏小。语言侧只有 Qwen3-0.6B；程序化基座的评测是 30 条 held-out UltraChat prompt、最多 96 个新 token；指标只有两个——被预测的那个奖励本身的恢复率、到 π_tar 的 KL。没有外部能力基准，没有 hacking 检查。RM-Div 的健康检查已经发现 4 个专家留有表面 tic（emoji 结尾占 19–26%、重复开场白占 11–22%）、OASST-Pythia 专家对有害请求更顺从，而组合之后这些 tic 是被放大还是被稀释，没人测。

省的是奖励调用，不是算力。式 6 每个 token 都要把 k 个专家的 next-token logits 取出来。讨论里写得很明白：

Running $k$ experts at inference is also costly. Distilling PoEM into a single model, or starting RL from it so that training only adds the missing directions, would remove this cost. We have not tested these ideas. —— PoEM, Section 6

成本从一次性的训练侧搬到了永久的推理侧。对「奖励很贵、调用次数是瓶颈」的场景（大模型 judge、人类打分）这笔账划算；对奖励便宜的场景，作者自己说 best-of-N 会更 competitive。

对大模型领域的影响

这条路线在大模型上复现之后，奖励迭代的形态会变：现在是「改奖励 → 重跑 RL → 看结果」，那时可以先在基座位上做一次零训练预览，用 coverage 判断这个新奖励是否落在已有方向里，coverage 低就说明该补的方向是基座的缺口，据此决定下一个专家训什么。coverage 于是从预测质量指标变成基座预算分配指标。

它也对模型合并这个子领域给了一个不同的落点：在 logit 空间合并有闭式解支撑，且能给出可信度；参数空间合并之所以难分析，一部分原因正是参数空间的有效维数（19.4）远高于策略空间（6.3）。

5 实践启示

可以借鉴的技术

1. 隐式奖励回归（式 10、11）。手上只有别人发布的后训练模型、拿不到原始奖励时，用 β(log π_k − log π_ref) 当特征做岭回归，就能把「这个模型在优化什么」估出来。这套做法可直接用于审计一批 adapter 之间的重叠度。
2. coverage 作为前置闸门。任何「组合已有模型去顶一个新目标」的流水线都该配一个：在投算力之前先用 held-out R² 判断目标方向在不在张成空间里，低则拒答。阈值要在自己的基座上定，别抄 0.3。
3. γ_geom 的尺度校正思路。凡是把多个各自丢弃了奖励尺度（GRPO 的组内标准化、DPO 的排序）训练出来的模型加权平均，都会出现范数缩水。用 Gram 矩阵估一个闭式放大系数，比对着目标去调更干净。
4. 多 LoRA 同批服务的工程形态。k 个专家同取 logits 这件事在多 LoRA 推理框架里已经可行，代价是 k 倍前向；值得先做蒸馏成单模型再上线。
5. 验证局部近似是否真的是瓶颈。附录 C.2 用重要性采样把解码器与全局归一化的差距量化成 0.62–2.72 nats，并发现修好它反而更差。这种先量化再决定要不要修的顺序，比默认去修更省事。

潜在应用场景

• 奖励预览：在决定要不要为某个新奖励付一次 RL 之前，先看组合出来的策略长什么样。对「改一行 rubric 就要重跑」的团队，这是最直接的用途。
• 昂贵奖励的近似：用一批便宜奖励训出的专家去顶一个贵奖励（大模型 judge、人类偏好、执行式验证器）。RM-Div 已经在 7–8B 奖励模型上小规模演示过。
• 多目标权重的试驾：helpfulness/harmlessness 这类配比不再需要为每个配比训一个模型，配比可以在解码时改。
• 基座位缺口诊断：用 coverage 给候选奖励排序，最低的那个就是下一个该训的专家。

我会在复现前补上的四件事

1. 在 7B 以上、带真实推理任务的模型上重做 rank gap 测量，并显式剔除长度方向后重算有效秩。
2. 补权重平均基线（TIES / DARE / task arithmetic），让引言里那句「degrade as the number of models increases」有对应的实测列。
3. 外部能力基准与 hacking 检查进主表：现在两个指标都在用被预测的那个奖励自己打分。
4. 图像侧改为不接触 π_tar 的权重拟合方式，或把那一支明确标为事后拟合而非预测。

参考文献

Hamidieh, K., Daras, G., & Torralba, A. (2026). PoEM: Predicting RL Outcomes from Existing Policies. arXiv:2609.30226 [cs.LG]. MIT CSAIL. 3 位作者，2026-09-24 提交。

相关精读

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 本篇换了个问法：前面每一期都在改训练信号本身——挑哪些 token、哪些轨迹、哪套信用分配口径——这一期问的是能不能一次训练都不做，把已有的后训练成果当基向量组合出答案，并且事先知道这次组合该不该信。以下按专栏顺序回溯，最近一期是 Rufus-Air。

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它

• 精读：Compile by Training —— 把提示词编译成本地权重

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态

• 精读：OPD-then-RL —— 两阶段为什么打过单步融合

• 精读：Co-Evolving Harnesses and Models —— 同一份专家轨迹，换个脚手架符号就反过来

• 精读：NSD 负向自蒸馏 —— 不靠近看过答案的自己，只远离粗心的自己

• 精读：E-SFT —— 把推理轨迹的中间段删掉再练

• 精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

• 精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

• 精读：把「做不出来」的题变成训练信号

• 精读：NGU 与 RL 里的马太效应

• 精读：SP³O 与 PPO critic 的价值压平

• 精读：Don’t Mask the Environment 与被 mask 掉的环境观察

• 精读：把训练-推理失配里的漂移项减掉

• 精读：把公开代码库里已实现的功能翻成 RL 环境

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把中间状态的价值估计整体消掉

• 精读：把后训练配方本身当成果——八阶段流水线里哪些收益经得起对账

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到前缀

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：RTI——把干预从优化期搬到采样期

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：Thinking Leakage——no-think 的 RL 增益有多少是从 think 漏过来的

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：MRTPO——把每个奖励的优势拆回到它自己读的那几个 token 上