精读：Nemotron-Labs-Diffusion 三模式统一语言模型

1 论文概览

一句话总结：Nemotron-Labs-Diffusion 通过联合 AR-扩散训练目标，在单一模型中同时实现自回归、扩散和自推测三种解码模式，首次证明 AR 与扩散目标是互补关系而非零和博弈，8B 模型在保持准确率的同时实现 6× token 前向产出和 4× 吞吐量提升。

核心问题：自回归（AR）模型逐 token 生成导致推理并行度低、GPU 利用率不足；扩散语言模型虽能并行生成，但在准确性和学习效率上始终落后于 AR 模型。二者究竟是竞争关系还是互补关系？能否在单一架构中统一两种范式？

主要贡献：

1. 三模式统一架构：首次在单一模型中无缝支持 AR 解码、扩散解码和自推测解码三种模式，无需架构修改，仅通过联合训练自然涌现
2. AR-扩散互补性证明：扩散目标在 α=0.3 时不仅不损害 AR 性能，反而略微提升（+0.43%），证明两种目标存在互补——扩散改善前瞻规划，AR 提供从左到右语言先验
3. 自推测超越 MTP：扩散草稿+AR 验证的自推测模式，接受长度达 6.82 token/步（Eagle3 仅 2.75），在 GB200 上比 Eagle3 快 2.4×
4. SOL 上界分析：speed-of-light 分析揭示扩散模式仍有 76.5% 的吞吐提升空间，当前实现远未触顶
5. 全栈开源：3B/8B/14B 三个规模，base/instruct/VLM 三种变体，权重和代码全部开源

2 方法详解

架构/方法概述

Nemotron-Labs-Diffusion 的核心思想极为优雅：用一个联合 AR-扩散目标训练同一个 Transformer，使其在推理时可以自由切换三种解码模式。

块扩散公式

序列被划分为 B 个连续块 {x^b}_{b=1}^B。在噪声级别 t ~ U[0,1] 下，仅当前块被噪声腐蚀，前缀保持干净：

L_diff(θ) = E_{t~U[0,1], x̃_t^b ~ q(·|x^b)} [-1/t Σ_{b=1}^B log p_θ(x^b | x̃_t^b, x^{<b})]

这个设计有两个关键特性：

• 块内双向注意力：允许当前块内 token 相互关注，实现并行预测
• 块间因果注意力：已生成块的 KV 缓存可复用，无需重算

联合训练目标

L(θ) = L_AR(θ) + α · L_diff(θ), α = 0.3

AR 损失将扩散训练锚定在语言的从左到右结构上，防止模型在任意排列上浪费容量；扩散损失迫使模型推理未来 token，解锁前瞻规划能力。

两阶段训练策略

阶段	目标	作用
第一阶段	纯 AR 训练（α=0）	建立强从左到右语言先验
第二阶段	AR + 扩散联合训练（α=0.3）	整合两种目标

这个设计避免了”冷启动”问题——如果一开始就加扩散损失，模型会同时学习两种范式，互相干扰。

全局损失平均

一个看似微小但消融证明极为关键的设计选择：

• 序列级平均：先对每个序列内 token 损失求平均，再跨序列平均
• 全局平均（采用方案）：所有 token 同等对待

全局平均防止小噪声级别样本因序列级归一化而过度影响批量损失，减少梯度方差。单独这一改动就贡献了 +2.12% 平均准确率提升。

三种解码模式

模式 1：AR 解码

标准从左到右逐 token 生成，适用于高并发服务场景。

模式 2：扩散解码

当前块初始化为 mask token，迭代并行去噪。支持两种采样策略：

• 置信度采样：固定阈值，高于阈值的 token 被提交
• 训练型采样器：4 层轻量 Transformer（仅 4.8M 参数，0.06% 主干），预测每个位置 top-1 是否”正确”

模式 3：自推测解码（Self-Speculation）

这是论文最具工程价值的创新——用扩散模式打草稿，用 AR 模式验证，两者共享同一权重和 KV 缓存：

• 线性自推测：扩散生成 k 个草稿 token → AR 因果验证 → 接受最长匹配前缀
• 二次自推测：单次前向同时完成起草与验证，每步始终产出 k 个推测 token
• LoRA 增强：在 o_proj 层添加 rank=128 LoRA（约 36M 参数），专门优化推测性能

关键创新点

1. 双流注意力设计：同一前向传播中同时计算 AR 和扩散损失——噪声→噪声（双向+因果）、噪声→干净（噪声关注干净前缀）、干净→干净（严格因果掩码）。这是”单一架构统一两种范式”的技术基石。

2. AR-扩散非零和：α=0.3 时两种模式准确率同步达到峰值，打破”扩散必然损害 AR”的固有认知。

3. 自推测取代双模型：传统推测解码需要维护两个模型（草稿+验证），Nemotron-Labs-Diffusion 用同一 checkpoint 的两种推理模式完成，消除了双模型版本同步和显存双倍占用的工程负担。

与基线方法的区别

维度	传统 AR 模型	纯扩散 LM（LLaDA/Dream）	Nemotron-Labs-Diffusion
训练目标	仅 AR	仅扩散	AR + 扩散联合
并行生成	不支持	支持	支持
AR 准确率	高	显著低于 AR	匹配或超越纯 AR
推测解码	需额外草稿模型	不适用	内置自推测
部署灵活性	单一模式	单一模式	三模式按需切换

3 实验结果

主要指标

8B Instruct 模型核心基准：

模型	模式	平均准确率	TPF（每前向 token 数）
Qwen3-8B	AR	62.75%	1.00×
LLaDA-8B	Diff	37.24%	1.00×
Dream-7B	Diff	40.54%	1.00×
Nemotron-Diff-8B	AR	63.61%	1.00×
Nemotron-Diff-8B	Diff	63.18%	2.57×
Nemotron-Diff-8B	Linear SS	62.81%	5.99×
Nemotron-Diff-8B	Quad SS	64.04%	6.38×

关键发现：即使是最快的 Quad SS 模式，准确率仍高于 Qwen3-8B（+1.29%），同时每前向产出 6.38× 的 token。

与 SOTA 的对比

自推测 vs 竞争方法（SPEED-Bench, B=31）：

方法	接受长度（token/步）	4 类任务平均
Nemotron-Diff Native	5.46	6.75
Nemotron-Diff LoRA	6.82	8.69
Qwen3-8B-Eagle3	2.75	2.81
Qwen3-9B-MTP	4.24	4.73

设备加速比（batch size=1）：

GPU	线性 SS vs 纯 AR	线性 SS vs Eagle3
GB200	3.97×（1015 tok/s）	2.4×
RTX Pro 6000	3.46×	2.3×
DGX Spark	3.14×	1.8×

多规模扩展：

规模	对比基线	AR 准确率提升	Linear SS TPF
3B	Qwen3-4B	+2.27%	4.36×
8B	Qwen3-8B	+0.86%	5.99×
14B	Qwen3-14B	+2.29%	5.96×

消融实验关键发现

渐进式消融（25B token 持续预训练，从 Ministral3-8B 出发）：

技术	平均准确率	增量
块级注意力（基线）	54.23%	—
+ 全局损失平均	56.35%	+2.12%
+ DP-rank 变掩码比	57.06%	+0.71%
+ 两阶段训练	62.80%	+5.74%
+ AR 损失	70.28%	+7.48%

AR 损失是单次贡献最大的组件（+7.48%），验证了”AR 先验锚定扩散训练”的核心假设。

α 敏感性：AR 和扩散准确率在 α=0.3 同步达到峰值，不存在零和博弈区间。

SOL 上界分析（块大小 B=32）：

指标	SOL 上界	线性自推测	差距
接受率	7.60×	6.82×	-10.3%
真实 TPF	6.02×	3.41×	+76.5%

SOL 分析还揭示了任务类型与并行度的强相关性：多语言（11.26×）和编程（10.24×）任务的并行潜力远高于角色扮演（3.49×），这与直觉一致——结构化任务更适合并行生成。

4 个人分析

亮点

1. 范式级概念突破：自 2017 年 Transformer 以来，AR 和扩散语言模型一直被视为两条互斥路线。Nemotron-Labs-Diffusion 用一个简洁的联合训练目标证明二者是互补的——这不仅仅是工程整合，而是对”语言生成范式”这一根本问题的重新定义。

2. “减法设计”哲学：没有引入新的架构模块，没有增加推理时的模型数量，甚至 LoRA 适配器只有 36M 参数（0.4% 主干）。所有创新都来自对现有组件的重新组合——同一个 Transformer 用两种注意力模式（因果+双向）做两件事。

3. SOL 上界分析的诚实度：论文不仅报告当前成绩，还通过 SOL 分析明确指出”还有 76.5% 的提升空间”。这种对当前方法局限性的坦诚在当前 LLM 论文生态中极为罕见。

4. 部署灵活性：三种模式适配三种并发场景（高并发→AR、中等→扩散、低并发/单用户→自推测），一个模型覆盖以往需要多个模型才能兼顾的部署场景。

5. 全栈验证：3B/8B/14B 三规模 + base/instruct/VLM 三变体，不是”一招鲜”而是系统性方法。

局限性

1. AR-扩散互补性的边界条件未充分探索：论文仅在 α=0.3 展示互补性，但未回答——在什么条件下互补性会消失？更大的模型规模、更长的训练、不同的数据分布是否仍然成立？8B→14B 的准确率增益变化（+0.86%→+2.29%）暗示可能存在规模依赖的交互效应。

2. 自推测的理论保证缺失：传统推测解码有严格的数学保证——输出分布与目标模型完全一致。但自推测中草稿和验证共享权重与 KV 缓存，等价的质量保证是否成立仍是开放问题。论文坦诚承认这一点，但它意味着在生产环境中不能直接假设自推测输出与 AR 输出等价。

3. 初始化依赖：所有实验从 Ministral3 初始化出发，未验证从其他模型族（Llama/Qwen）初始化的效果。TechTimes 的分析也指出，这意味着对其他架构有大量微调投入的团队面临较高的迁移成本。

4. 扩散模式的效率未达理论极限：当前 TPF 3.41× 远低于 SOL 的 6.02×，76.5% 的差距主要来自采样策略而非模型能力。这意味着扩散语言模型的实际部署效率高度依赖采样器设计，而采样器本身是一个未被充分研究的问题。

5. 特定任务的退化：论文报告添加扩散目标后，指令遵循（IFEval -3.01%）和代码生成（HumanEval -2.44%）存在退化。虽然整体准确率提升，但关键任务的退化对生产部署可能是不可接受的。

6. VLM 扩展有限：VLM 变体仅验证了 8B 规模，且扩散模式在部分视觉任务（ChartQA -4.7%、RealWorldQA -1.9%）上存在退化。多模态场景下 AR-扩散互补性是否成立还需更多验证。

对大模型领域的影响

1. 推理效率的范式转移：如果自推测方法成熟，“逐 token 生成”可能不再是 LLM 部署的唯一范式。推理效率的提升不再需要更大的模型或更多的 GPU，而是来自更聪明的解码策略——这与 Overthinking/Illusion of Thinking 系列论文的”推理质量>推理数量”洞察形成深层呼应。

2. 扩散语言模型的”可信度”重建：此前 LLaDA 和 Dream 等纯扩散 LM 的准确率显著低于 AR 模型（LLaDA-8B 平均 37.24% vs Qwen3-8B 62.75%），导致社区对扩散 LM 的实用性产生质疑。Nemotron-Labs-Diffusion 的 AR 模式达到 63.61%，证明联合训练可以保留 AR 性能的同时获得扩散能力——这不是以准确率换速度，而是免费获得速度。

3. 与 RFT/RLVR 的潜在协同：当前 RLVR 训练几乎全部基于 AR 生成。如果扩散模式可以在 RL 训练中提供多样化的并行推理路径（类似 SPIRAL 的搜索+聚合），可能在训练效率上实现类似的加速。这为”扩散推理 + RL 训练”的组合开辟了研究方向。

4. 对”苦涩教训”的延伸：Sutton 的苦涩教训说”利用更多计算的方法最终胜出”。Nemotron-Labs-Diffusion 展示了一种新的”利用计算”的方式——不是更大的模型或更多的数据，而是同一模型在推理时更充分地利用已有参数。6× TPF 意味着同样的硬件可以服务 6 倍的用户或以 6 倍速度生成。

5 实践启示

可以借鉴的技术

1. 块扩散公式：将序列分块、仅腐蚀当前块、前缀复用 KV 缓存的设计，可以直接迁移到任何需要并行生成的场景。关键公式 L_diff 的 1/t 重加权是训练稳定性的关键。

2. 两阶段训练策略：先纯 AR 建立语言先验，再加扩散联合训练。这个”先巩固再扩展”的范式可以推广到任何多目标联合训练场景——先确保单一目标收敛，再引入新目标。

3. 全局损失平均：一个简单的工程选择（所有 token 同等对待 vs 序列级归一化）带来 +2.12% 的提升。对于任何涉及变长噪声级别的训练，这都值得检查。

4. 双流注意力：同一前向传播中用不同注意力掩码计算两种损失，节省 50% 的前向计算。这种”一石二鸟”的设计理念适用于任何需要同时优化多个目标的场景。

5. 轻量训练型采样器：4.8M 参数（0.06% 主干）预测 token 正确性，远优于固定阈值。这种”小模型辅助大模型决策”的模式在推理效率优化中有广泛应用。

潜在应用场景

1. 云端推理服务：高并发时用 AR 模式保证稳定吞吐，低并发时自动切换自推测模式最大化单用户响应速度。一个模型替代当前的”大模型 + 小草稿模型”双模型部署。

2. 代码补全/生成：SOL 分析显示编程任务的并行潜力最高（10.24×），代码的结构化特性（语法约束、模式重复）天然适合扩散式并行生成。

3. 多语言服务：多语言任务的 SOL 并行度达 11.26×，对需要同时服务多语言用户的场景有巨大加速潜力。

4. RAG 与长上下文：RAG 任务的 SOL 并行度为 7.32×，结合 HiLS-Attention 等长上下文注意力优化，可能实现超长文档的高效生成式摘要。

5. RL 训练中的并行采样：扩散模式可以一次性生成多条推理路径的”草稿”，然后 AR 模式验证——这与 SPIRAL 的”搜索+聚合”范式天然契合，可能将 RL 训练中的采样效率提升数倍。

---

精读日期：2026-07-22 | arXiv:2607.05722 | 论文链接：https://arxiv.org/abs/2607.05722 | 模型权重：https://huggingface.co/collections/nvidia/nemotron-labs-diffusion