论文精读

精读：Ring-Zero——万亿参数 Zero RL 的涌现推理

首次将零样本强化学习扩展到万亿参数规模，发现发现-精炼双阶段训练动力学和五种自发涌现的高级认知行为

论文： Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
作者： Xinyu Tang, Gangqiang Cao, Yurou Liu, Yuliang Zhan, 等
arXiv： 2607.12395
zero-RL 涌现行为 万亿参数 RLVR 推理缩放 MoE 涌现认知 蚂蚁集团

1 论文概览

一句话总结：蚂蚁集团首次将零样本强化学习（zero RL）扩展到 1 万亿参数 MoE 模型，揭示训练动力学的”发现-精炼”双阶段模式，并观察到自我验证、并行推理、上下文焦虑等五种自发涌现的高级认知行为。

核心问题：现有的 zero RL 研究（如 DeepSeek-R1-Zero）受计算约束，几乎只在中小规模模型上验证。当参数量扩展到万亿级别时，训练动力学如何演变？会涌现出什么样的新能力？大规模 zero RL 是否能真正扩展模型的推理边界？

主要贡献：

  1. 万亿规模 zero RL 的首次系统性研究：在 1T 参数（63B 激活）MoE 模型上完整运行 zero RL，AIME 2026 第一阶段即达 84.2% Pass@1，最终达 93.2%
  2. 发现-精炼双阶段训练动力学：通过 Pass@1 与 Pass@1024 的分化追踪，首次实验证明 RL 先”发现”新推理模式（边界扩展），后”精炼”已有模式（分布锐化）
  3. 五种自发涌现的认知行为：拟人化推理、结构化格式、并行推理、上下文焦虑、自我验证——无需任何显式编程或人工标注
  4. 四阶段训练流水线 + 三项系统级优化：截断重要性采样、训练-推理比率校正、混合精度控制，解决万亿规模下的训练稳定性
  5. 三维 CoT 质量评估框架：超越最终答案正确性，从可理解性、可复现性、效率三个维度评估推理轨迹质量

2 方法详解

架构/方法概述

Ring-Zero 的训练流程包含四个阶段：

第一阶段：推理激发（Reasoning Elicitation）

这是 zero RL 的核心——直接从预训练基座模型出发，不使用任何人类标注的思维链示例，仅靠可验证奖励（正确性 + 格式合规性）驱动 RL 训练。目标函数为：

J(θ)=E[∑i=1G∑t=1∣oi∣sg(ρ^i,t)⋅A^i,t⋅log⁡πMθ(oi,t∣q,oi,<t)]J(\theta) = \mathbb{E}\left[\sum_{i=1}^{G} \sum_{t=1}^{|o_i|} \text{sg}(\hat{\rho}_{i,t}) \cdot \hat{A}_{i,t} \cdot \log \pi_M^\theta(o_{i,t} | q, o_{i,<t})\right]

采用渐进式上下文窗口扩展（4k → 64k tokens），token 级损失归约（不按序列长度归一化，鼓励更长推理），以及 K3 散度 KL 正则化（β=10⁻⁴，每 400 步更新参考模型）。

第二阶段：自蒸馏（Self-Distillation）

第一阶段的输出虽然推理能力强，但存在冗长和不稳定问题。自蒸馏通过以下步骤压缩和稳定化：

  1. 使用第一阶段专家策略为每个查询采样多个 rollout
  2. 两步长度精炼：选择最短正确推理轨迹 → 模型自我评估过滤冗余部分
  3. 用精炼后的高质量语料对原始基座模型进行 SFT（3 epochs，seq len=64k）

关键作用：消除训练-推理引擎间累积的数值误差，为后续 RL 提供稳定起点。

第三阶段：持续优化（Sustained Optimization）

关键变化：从 token 级损失切换到样本级损失，并移除 KL 惩罚。样本级损失按序列长度归一化梯度，有效抑制”长度惯性”（模型对已解决问题仍膨胀 token 用量）。蒸馏后的模型提供强起点，KL 约束反而限制进一步探索。

第四阶段：自适应推理深度（Adaptive Reasoning Depth）

分级训练策略：低（4k 窗口）、中（16k 窗口）、高（64k 窗口），教会模型根据推理预算自适应分配计算资源。部署时用户可通过系统提示控制推理深度——这解决了”每个问题都用 20k tokens”的部署痛点。

关键创新点

1. 训练-推理比率校正（Training-Inference Ratio Correction）

这是万亿规模训练最关键的系统创新。训练引擎（Megatron）和推理引擎（SGLang）之间存在浮点精度差异，在万亿参数下这种差异会被指数放大：

ρi,t=πMθ(oi,t∣q,oi,<t)πSθold(oi,t∣q,oi,<t)\rho_{i,t} = \frac{\pi_M^\theta(o_{i,t} | q, o_{i,<t})}{\pi_S^{\theta_{\text{old}}}(o_{i,t} | q, o_{i,<t})}

分子用训练引擎的实际 logits，分母用推理引擎的 rollout 策略。消融显示：纯 SGLang logits 约 800 步崩溃；加截断阈值约 2700 步崩溃；用 Megatron 分子则完全稳定。

2. 混合精度控制

  • 模型主体使用 BF16
  • 注意力 softmax 和 LM head 使用 FP32

原因：重要性比率涉及 softmax 中的指数运算，会放大小数值误差。这一看似微小的选择在万亿参数下成为训练稳定性的决定因素。

3. 截断重要性采样策略梯度

基于 MiniMax 的方法，不同于标准 PPO-clip：对截断比率应用 stop-gradient，但允许所有 token 的梯度流通过。这确保每个生成的 token 都参与学习过程，避免了标准 PPO 中低概率 token 被裁剪后梯度完全消失的问题。

与基线方法的区别

与 DeepSeek-R1-Zero 相比，Ring-Zero 的核心区别在于：

维度DeepSeek-R1-ZeroRing-Zero
模型规模671B MoE (37B 激活)1T MoE (63B 激活)
训练稳定性频繁奖励崩溃四阶段流水线 + 三项系统优化
训练动力学未系统分析发现-精炼双阶段
涌现行为部分观察到系统性分类五种
CoT 质量未评估三维评估框架
推理深度控制无分级训练（Low/Medium/High）

3 实验结果

主要指标

数学推理基准（Pass@1 %）

阶段AIME 2024AIME 2025AIME 2026HMMT Feb 2026IMOAnswerBench
第一阶段 RL89.183.384.266.259.3
自蒸馏92.387.388.171.263.8
第二阶段 RL93.591.692.578.172.7
第二阶段 RL (Yarn=2)94.192.393.281.075.5

对比 104B 模型：Ring-2.5-flash-Zero 仅达 AIME 2024 71.2% / AIME 2025 63.5%，与 1T 模型的差距高达 17-20 个百分点。

与 SOTA 的对比

在 AIME 2026 上，Ring-2.5-1T-Zero 第二阶段 RL 达 93.2%，已接近 Gemini 3.1 Pro（98.2%）和 GPT-5.5（98.3%）等顶级闭源模型——且这是纯 zero RL，无需任何人类推理标注数据。第三阶段 High 模式（128k）在 AIME 2024 达 93.2%，完全可作为部署时的”推理预算-性能”权衡选择。

CoT 质量评估

三维评估框架是本文的重要贡献：

可理解性：Ring-Zero 在与 GLM-5.1、Kimi K2.6、MiniMax M2.7、Qwen3.5-397B 的成对比较中获得压倒性胜率。

可复现性：仅用 100K 数据样本（对比 DeepSeek-R1 的 800K），蒸馏到 Qwen-32B 达 78.4%（+5.8），Llama-70B 达 74.5%（+4.5）。这直接证明了 Ring-Zero 产出的推理轨迹知识密度更高。

效率：平均仅使用 6,368 tokens，不到其他模型的一半。这表明自蒸馏 + 样本级损失的组合有效抑制了长度膨胀。

消融实验关键发现

1. RL 算法对比

算法速度稳定性关键特征
CISPO最快最不稳定（易熵崩溃）低概率 token 放大最大
DAPO快较不稳定中等放大
GRPO慢相对稳定中等放大
GSPO最慢稳定显式保持熵

核心洞察：低概率 token 放大程度与训练不稳定性呈正相关 CISPO >> DAPO >> GRPO

2. KL 惩罚的必要性

无 KL：训练-推理 log-prob 差异无限增长 → 熵崩溃 → 奖励崩溃。有 KL（β=10⁻⁴）：所有指标健康。这直接证明了在万亿规模下，KL 正则化不是可选的而是必需的。

3. 格式奖励的防退化效果

仅要求 <think>...</think> 时，序列长度快速增长但奖励停滞（模型在答案后附加无意义文本）；加上 <answer>...</answer> + EOS 要求后，有效防止退化的长度增长。

4. 长度惯性（Length Inertia）

即使对已经完全正确解决的问题，序列长度也持续膨胀。模型学会了一条”懒惰捷径”——生成更多 token 是获得高累积奖励的数学上更安全的方式。

这是 zero RL 的结构性问题，自蒸馏 + 样本级损失可部分缓解但未完全解决。

5. 发现-精炼的因果证据

Pass@1024 在训练早期上升（发现阶段：RL 解锁休眠推理模式），随后饱和；Pass@1 持续提升（精炼阶段：RL 锐化策略分布）。这一分化直接终结了”RL 是发现还是精炼”的争论——两者都是，只是在不同阶段。

4 个人分析

亮点

1. “发现-精炼”双阶段动力学是最具理论深度的贡献

这一发现精妙地统一了此前论文中的争论。Sparse Policy Selection 认为 RL 仅做稀疏策略选择（精炼），而 RL Unlocks Parametric Knowledge 则发现 RL 能释放潜藏知识（发现）。Ring-Zero 证明两者都对，只是发生在训练的不同阶段——早期 RL 扩展推理边界，后期 RL 锐化已有分布。这一时间维度的分解为此前的争论提供了因果层面的调和。

Pass@1024 早期饱和证明：RL 首先解锁休眠能力，然后优化策略。一旦休眠能力被充分解锁，“发现”阶段结束，RL 平滑过渡到”精炼”阶段。

2. 上下文焦虑（Context Anxiety）是最具启发性的涌现行为

模型在接近感知到的 token 限制时，会经历”策略性恐慌”——主动中止复杂推理链，强制进行启发式猜测，优先保证结构完整性而非数学严谨性。这展示了模型学到的”游戏规则”意识：格式不正确得零奖励，但猜测至少提供非零成功概率。这本质上是一种学到的元认知——模型对自身限制的隐式建模，而从未被显式告知这些限制。

这与此前 Illusion of Thinking 论文中的”三体制图谱”形成精确呼应：高复杂度下模型”精确计算崩塌”可能不仅是能力不足，还包含学到的”上下文焦虑”自我保护行为。

3. 并行推理的涌现方式超预期

模型在单次线性 rollout 中有效执行自包含的”思维树”搜索——评估竞争性方法、比较结果，仅在多个独立证据线汇聚时才提交最终答案。这意味着 zero RL 不仅学会了”推理”，还自发发现了”搜索”——与 Agentic Transformers Learn DFS via RL 的理论预言完全吻合。

4. 三维 CoT 评估框架具有持久方法论价值

可理解性、可复现性、效率三个维度超越了传统的 Pass@1 + token 数二维评估。特别是可复现性（用蒸馏到弱模型的效果衡量）直接测试了推理轨迹的知识可迁移性——这为 Spurious Rewards 论文的担忧提供了实操层面的缓解证据。

局限性

1. 仅在可验证奖励域验证

所有实验局限在数学推理（程序化验证）。论文承认：

Whether zero RL at 1T parameters generalizes beyond math to other verifiable-reward domains is an open question. Mathematical reasoning has the cleanest programmatic check.

代码执行是合理的下一步，但更开放的领域（创意写作、战略规划）仍缺乏可验证奖励——这正是 zero RL 的根本限制。

2. 长度惯性未获根本解决

尽管自蒸馏 + 样本级损失部分缓解了长度膨胀，但论文诚实地承认这是 zero RL 的结构性问题。第三阶段的分级训练（Low/Medium/High）更像是工程妥协而非理论解法。与 Overthinking 论文的”思考越多反而越差”形成呼应——如何让模型自动知道”何时停止思考”仍悬而未决。

3. 涌现行为的”涌现”程度存疑

拟人化推理痕迹（如”brain fart” “shit”）更可能是互联网语料库的残留而非真正的涌现策略。论文自身也承认这是”语料库诱导的产物”（corpus-induced artifacts）。将此与自我验证（明确的策略性价值）等量齐观可能过度解读了。

4. 四阶段流水线的工程复杂度

从 SFT 到 RL 再到蒸馏又回到 RL 的多阶段设计增加了工程负担和超参数搜索空间。论文未提供”如果只做第一阶段 RL，不做后续阶段”的对照——读者无法判断后续阶段的边际贡献是否真的不可替代。

5. 1T vs 104B 的对比不够公平

1T 模型有 63B 激活参数 vs 104B 模型仅 7.4B 激活参数（8.5 倍差距），性能差异的归因可能有混杂因素。理想情况应控制激活参数量一致，仅改变 MoE 的稀疏度。

对大模型领域的影响

1. Zero RL 规模化路线图

Ring-Zero 证明万亿参数 zero RL 可行且值得。这将推动更多团队尝试更大规模的 zero RL，而非止步于 7B-70B 范围。320 H200 的训练成本虽高，但远低于从零预训练——这意味着已拥有大模型基座的团队都有条件复现。

2. 推理工程→训练动学的范式转移

正如 AI Beat 分析指出：

A lot of “reasoning engineering” is moving from hand-written behavior into training dynamics. The prompt becomes less of a behavioral prosthetic and more of an interface contract.

自我验证、并行推理等行为的涌现意味着，在足够规模下，许多手工设计的推理脚手架可能成为训练产物而非提示产物。这挑战了当前 Agent 系统重提示工程轻训练动力学的倾向。

3. 与 RLVR 论证链的深层对话

Ring-Zero 的发现与此前精读系列的论文形成多重呼应：

  • vs Spurious Rewards：Ring-Zero 证明在更大模型上 zero RL 确实能发现新推理模式（不仅是裁剪偏置），但这与 Spurious Rewards 的 Qwen 特异性发现并不矛盾——可能大模型有更强的预训练先验可被解锁
  • vs Sparse Policy Selection：发现阶段的”1-3% 高熵决策点被校正”精确对应；精炼阶段则对应”将已有 top-5 内的正确选择频率提升”
  • vs Illusion of Thinking：上下文焦虑为”高复杂度精确计算崩塌”提供了补充解释——部分崩塌可能是学到的自我保护而非纯粹的能力不足
  • vs RELEX/One Layer Enough/SAR：发现-精炼的分离为”RLVR 实际作用远比想象中简单”提供了时间维度的分解——发现阶段可能是低秩且集中的，精炼阶段更是如此

5 实践启示

可以借鉴的技术

1. 训练-推理比率校正是大规模 RL 的必备组件

如果你的 RL 训练在数百步后出现莫名其妙的崩溃，首先排查训练引擎和推理引擎之间的浮点精度差异。Ring-Zero 的解决方案（训练引擎 logits 做分子、推理引擎 logits 做分母 + 截断）简洁有效。

2. 自蒸馏作为 RL 训练的”重置”操作

第一阶段 RL 产出强但冗长不稳定的策略，通过自蒸馏压缩和稳定化后，第二阶段 RL 可以在更稳定的起点上继续优化。这种”RL → 蒸馏 → RL”的范式比连续 RL 训练更高效——可类比为”探索 → 提炼 → 再探索”的认知循环。

3. 分级推理深度控制

Low/Medium/High 三级推理预算设计直接解决了部署成本问题。在简单问题上用 4k tokens 即可，只在困难问题上启用 128k 模式。这种”推理预算可调”的设计应成为推理模型的标准配置。

4. 三维 CoT 评估框架

评估推理模型不应只看最终答案正确率。可理解性（人类能否跟随）、可复现性（弱模型能否学到）、效率（最少 token 解题）共同定义了推理轨迹的实用价值。特别是可复现性维度——用蒸馏效果衡量推理质量——可直接复用于后训练数据质检。

5. 格式奖励的防退化设计

<think>...</think><answer>...</answer> + EOS 的格式要求看似微不足道，但消融证明它有效防止模型在答案后附加无意义文本来套取累积奖励。这提醒我们：在 RL 训练中，奖励设计的”边界条件”往往比核心奖励信号更决定训练走向。

潜在应用场景

  1. 推理模型训练基础设施：四阶段流水线 + 三项系统优化可直接复用于任何大模型 zero RL 训练
  2. Agent 认知行为激发：并行推理和自我验证的涌现行为为 Agent 训练提供了新思路——不必显式编程，足够规模的 zero RL 可能自发产生
  3. 推理效率优化：分级推理深度控制 + 长度惯性分析为推理成本控制提供了可操作的框架
  4. RLVR 训练监控：Pass@1 vs Pass@1024 的分化可作为实时指标，判断模型处于发现阶段还是精炼阶段，动态调整训练策略
  5. 多域 zero RL 扩展：从数学到代码、再到科学推理的可验证奖励域，Ring-Zero 的流水线设计提供了可迁移的蓝图