精读：预训练如何塑造RL后训练——放大与浮现的双重机制
首次建立预训练到RL后训练的联合缩放定律，揭示RL在简单问题上放大已有偏好、在困难问题上浮现潜在知识的双重机制
1 论文概览
一句话总结： 通过国际象棋受控测试平台，首次定量揭示预训练损失精确预测RL后训练性能，且RL在简单/困难问题上表现出截然不同的机制——放大已有偏好 vs 浮现潜在知识。
核心问题： RL后训练几乎总是被孤立研究，与前面的预训练阶段脱节。两个基本问题悬而未决：(1) 预训练选择（模型规模、数据量）如何塑造RL计算回报？(2) RL实际上对模型做了什么？
主要贡献：
- 联合缩放定律：发现后RL性能可由预训练损失强预测（Spearman ρ = -0.93~-0.99），RL奖励曲线斜率随预训练token数近似线性增长（Pearson r = 0.84）
- 放大-浮现二分法：RL在简单问题上主要放大SFT策略已有的正确偏好（amplification），在困难问题上浮现SFT策略中几乎不存在的正确棋步（surfacing），但同时也可能强化错误模式
- 受控测试平台：构建国际象棋三阶段训练流程（预训练→SFT→RL），5M~1B参数10种规模，实现36种预训练-RL组合的系统扫描
- 跨领域迁移验证：在1B数学领域模型上复现相同缩放模式，证明预训练-RL界面结构超越特定领域
- 计算最优分配：最优RL计算占比随总预算增长而上升（~20%→28%），初期需充足预训练
2 方法详解
架构/方法概述
论文构建了一个模拟标准LLM训练流程的国际象棋测试平台：
| 阶段 | 内容 | 规模 |
|---|---|---|
| 预训练 | Lichess人类对局自回归下一棋步预测 | 54B tokens |
| SFT | 合成推理轨迹（前缀树序列化） | - |
| RL | GRPO + 可验证奖励（棋谜） | 156K谜题×5难度等级 |
棋步编码为4个token（⟨piece⟩;⟨source⟩;⟨destination⟩;⟨flag⟩），词汇表仅81个token。推理完全在棋步token中进行，不使用自然语言。
模型规模横跨5M到1B参数（10种），采用Qwen3密集架构。评估集1,480个战术谜题按难度、主题和解答长度平衡。
合成推理轨迹生成：使用预训练模型作为提议策略采样多条游戏延续，按共同前缀合并为前缀树，深度优先序列化。格式：<T> 路径1 <sep> 路径2 <sep> ... </T>。这一设计巧妙地让模型在RL前学会”搜索”。
关键创新点
1. 预训练损失作为RL性能的预测因子
使用对数线性形式建模局部RL缩放：
R_N,T(C) = R^ref_N,T + B_N,T × (log₁₀C - log₁₀C_ref)其中 R^ref（给定RL计算量下的性能）与预训练验证损失强负相关，B（RL奖励曲线斜率）与预训练token数近似线性正相关。这意味着：
“预训练做得越好，RL的起点越高，且RL改进得越快。”
2. 放大-浮现-错误强化三分类
论文将RL引起的策略变化精确分类为三种：
| 类别 | 定义 | 出现场景 |
|---|---|---|
| 正确答案放大 | 正确棋步已在top-k，RL进一步强化 | 简单问题为主 |
| 尾部发现 | 正确棋步原概率<0.05，RL提升到top-k | 困难问题 |
| 错误模式放大 | 正确棋步仍不在top-k，错误偏好被强化 | 困难问题 |
这一定量分类统一了此前互相矛盾的观点：
- “RL只是锐化已有模式”（在简单问题上成立）
- “RL组合已有技能为新能力”（在困难问题上的”尾部发现”）
- “RL有时反而有害”（错误模式放大）
3. RL改变搜索结构而非搜索深度
模型主要扩展搜索广度（宽度/深度比和分支因子增加），而非深度（最大搜索深度基本不变）。但超过5步的延续仍具挑战——RL改进候选生成和选择快于长程搜索。
与基线方法的区别
与传统LLM缩放定律研究的根本区别在于：同时扫描预训练和RL两个阶段的计算量。此前的工作要么只研究预训练缩放（Chinchilla），要么只研究RL训练动态。本文首次建立两个阶段之间的定量桥梁。
Chinchilla参数估计：α ≈ 0.40，β ≈ 0.68（β是语言模型估计值0.28的两倍多），计算最优分配为 N_opt ∝ C^0.63, D_opt ∝ C^0.37。更大的β值表明在棋领域数据比参数更重要。
3 实验结果
主要指标
| 指标 | 关键数值 |
|---|---|
| 预训练-RL组合数 | 36种 |
| 预训练损失与后RL性能的Spearman相关 | 最高0.99 |
| RL斜率与log(T)的Pearson相关 | 0.84 |
| 最优RL计算占比 | ~20%~28%（随总预算增长） |
| 模型规模范围 | 5M~1B参数 |
与SOTA的对比
预训练-RL计算权衡：在固定预算下，初期需要高预训练比例（RL高度依赖初始化质量），随着总预算增长，最优RL比例增加。以20M模型为例，RL计算占比从5%上升到32%。
pass@1 vs pass@16的分化：RL持续改善pass@1，但pass@16表现混合——小型模型有提升，大型模型曲线几乎平坦甚至下降。额外预训练比额外RL更能提升pass@16。这与此前Forks in the Road论文的发现一致：RL训练使模型承诺单一推理路径并抑制替代策略。
外推计算最优前沿：模拟20M到2B参数的13种模型规模，最优RL比例随总计算量增加而上升，最优预训练token分配未显著偏离Chinchilla缩放。
消融实验关键发现
1. 放大vs浮现的难度依赖性
简单谜题以正确答案放大为主，困难谜题则同时出现尾部发现和错误模式放大。RL不是均匀的温度缩放——拟合R²仅为中等，每状态的斜率差异很大。
2. RL在困难问题上的双刃剑
RL能在困难问题上浮现原本几乎不存在的正确棋步，但同时也可能强化错误棋步。这直接解释了为什么RL改善pass@1但不总能改善pass@16——错误模式放大抵消了尾部发现的收益。
3. 数学领域迁移
使用1B OLMo-2模型，预训练语料70% Nemotron-CC-Math-v1 + 30% Dolma3（200B tokens），在10B到200B tokens的14个检查点上进行SFT + RL。象棋中发现的模式在数学领域同样成立：
- 更低的预训练损失预测更高的后RL性能
- RL奖励曲线斜率随log₁₀(T)近似线性增长
4 个人分析
亮点
1. 问题定义的范式价值。此前RLVR研究几乎全部聚焦于”RL阶段本身”，将预训练视为固定背景。本文首次将预训练-RL视为联合优化问题，开辟了”跨阶段缩放定律”这一全新研究方向。这与TPP Coverage论文对Chinchilla的审计、T²缩放定律对过度训练的重新评估一脉相承——我们对LLM训练基础工具的理解远比想象中浅薄。
2. 放大-浮现二分法的统一力量。这一分类优雅地解决了社区中关于”RL到底在做什么”的长期争论：
Sparse Policy Selection认为”RL做稀疏策略选择”——对应本文的”放大” RL Unlocks Parametric Knowledge认为”RL解锁潜在知识”——对应本文的”浮现” 本文揭示两者同时为真，取决于问题难度
这种”两者都对但各有适用范围”的结论具有深刻的科学价值。
3. 受控测试平台的实验经济学。国际象棋的词汇表仅81个token、奖励完全可验证、推理无需世界知识——这些”限制”反而是优势，使因果归因成为可能。36种预训练-RL组合的系统扫描在LLM研究中极为罕见。
4. 预训练损失作为”RL潜力指标”。ρ高达0.99的预测力意味着，我们或许可以在预训练阶段就预判模型对RL的响应能力，而不需要真正跑RL实验。这对计算资源规划有直接工程价值。
局限性
1. 领域差距。国际象棋的81-token词汇表与自然语言的~100K词汇表差距悬殊。棋步推理是精确的符号操作，不涉及模糊性、世界知识或语言流畅性。缩放指数和类别比例不应直接外推到语言模型——论文对此的诚实标注值得赞赏。
2. 规模天花板。最大模型仅1B参数，而当前LLM后训练实践已进入7B-70B甚至万亿规模。缩放趋势是否在更大规模下保持线性，还是会出现相变，尚属未知。
3. RL算法单一。仅使用GRPO，未验证PPO/RLOO/DAPO等算法是否展现相同的放大-浮现模式。不同算法的裁剪机制可能导致不同的策略变化分布。
4. 推理格式的特殊性。使用前缀树序列化格式，而非自然语言CoT。不同推理格式可能产生不同的训练动态——此前ThinC论文已证明推理格式本身对RL效果有根本性影响。
对大模型领域的影响
1. 预训练-RL联合设计的实践范式。当前行业实践中预训练和后训练团队往往独立运作。本文的缩放定律为联合设计提供了定量基础——预训练阶段的每一个损失点下降，都将在RL阶段获得复利回报。
2. 对”RL弥补预训练不足”叙事的修正。行业中有一种观点认为”预训练不够好可以靠RL补”。本文的发现直接反驳这一观点：预训练损失越低，RL改进越快。预训练和RL是乘法关系而非加法关系。
3. 与RLVR论证链的深层连接。本文的放大-浮现二分法为专栏前期积累的RLVR论证链提供了统一解释框架：
- Sparse Policy Selection → 放大（简单问题上的稀疏策略校正）
- RL Unlocks Parametric Knowledge → 浮现（困难问题上的概率重分配）
- Spurious Rewards → 预训练先验决定了伪奖励是否有效（放大还是浮现取决于先验分布）
- RELEX/One Layer Enough → 放大和浮现的参数几何不同（放大只需rank-1修正，浮现需要更大的参数变化）
- Overthinking/Illusion of Thinking → 错误模式放大解释了推理过度和计算崩塌
4. 计算资源分配的实践指导。在有限预算下，前期应投入更多预训练资源（RL高度依赖初始化质量），随着总预算增长逐步增加RL占比。这一”先预训练后RL”的最优策略与SFT-then-RL论文的结论形成有趣的对照。
5 实践启示
可以借鉴的技术
1. 受控测试平台方法论。国际象棋测试平台的核心价值是因果归因——在自然语言LLM中几乎不可能实现的预训练-RL联合扫描，在棋领域变得可行。这一思路可迁移到其他受控推理环境（程序合成、定理证明、形式化验证）。
2. 预训练损失作为RL潜力指标。在实际训练管线中，可在预训练的不同检查点上运行少量RL步数，建立损失-RL性能的校准曲线，用于预测完整RL训练的效果，避免在”RL潜力低”的检查点上浪费计算。
3. 放大-浮现分类的诊断价值。在RL训练监控中，可按问题难度分层追踪pass@1和pass@k的变化。如果困难问题的pass@16持续下降，可能表明错误模式放大正在主导——需要调整RL策略（如增大探索、引入过程奖励）。
4. 合成推理轨迹的前缀树方法。将多条推理路径合并为前缀树并序列化，是一种高效的知识蒸馏格式。这一方法可迁移到数学推理领域——用强模型采样多条解题路径，合并为前缀树后用于SFT。
潜在应用场景
1. 预训练-后训练联合资源规划。在大规模训练项目中，可用本文的缩放定律估算不同预训练-RL预算分配下的预期性能，优化总体计算效率。
2. RL训练早期预警系统。如果在RL训练早期发现预训练损失与RL性能的对应关系偏离预期（如预训练损失低但RL改进慢），可能表明预训练数据与RL任务不匹配，需要调整数据配方。
3. 模型发布策略。基于预训练损失预测RL潜力，可以在多个预训练检查点中选择”RL性价比最高”的版本进行后训练，而非默认使用最终检查点。
4. 跨领域迁移验证范式。论文从棋到数学的迁移验证方法，可应用于评估任何训练方法论的领域普适性——先在受控环境验证，再在目标领域复现。