章节导航 第 6 章 / 共 10 章
第六章：推理革命
从 o1 到 DeepSeek R1：当模型学会「思考」（2024-2025）
第六章：推理革命
从 o1 到 DeepSeek R1：当模型学会在回答之前「思考」（2024-2025）
6.1 一个困扰行业的问题
到 2024 年中，大模型遇到了一个让人不安的现象：模型越来越大，但某些能力似乎到了天花板。
GPT-4 发布一年半后，没有任何模型在数学推理、复杂编程和逻辑分析上有实质性突破。Claude 3.5 Sonnet、Gemini 1.5 Pro、GPT-4o——它们各有优势，但在需要多步推理的问题上，表现都在同一个水平线上反复徘徊。
业内开始流传一种声音：Scaling Laws 到头了，继续堆参数和数据没用了。
这种判断是错的。但它错在了一个微妙的地方——不是 Scaling 到头了，而是 Scaling 的方式需要改变。
6.2 Test-Time Compute：第二条 Scaling 曲线
传统的 Scaling Laws 关注的是训练时的计算量（train-time compute）：更多的参数、更多的数据、更多的 GPU 时间。
但 2024 年，一个新的维度浮出水面：推理时的计算量（test-time compute）。
核心思想很简单：让模型在给出答案之前，花更多的时间”想一想”。人类解决困难问题时不是脱口而出的——我们会画图、列步骤、检查错误、尝试不同路径。如果让模型也这样做呢？
Chain-of-Thought（思维链）在 2022 年就被提出了。但之前是在提示词里告诉模型”请一步一步想”——效果有限，因为模型本身没有被训练成”善于多步思考”的样子。
真正的突破在于：不只是提示模型去想，而是训练模型学会怎么想。
6.3 OpenAI o1：推理模型的横空出世
2024 年 9 月 12 日，OpenAI 发布了 o1-preview。
表面上看，o1 只是另一个聊天模型。但它的行为与之前所有模型都不同：给它一道数学竞赛题，它不会直接尝试给出答案，而是会产生一段很长的”思考过程”——尝试不同的解题路径，验证中间步骤，发现错误后回溯重试。
这个”思考过程”不是提示工程的结果，而是通过强化学习训练出来的。o1 被训练成在回答之前进行系统性的推理，模型学会了一种内在的”慢思考”模式。
结果令人震惊：
- 数学竞赛（AIME 2024）： o1 正确率 83.3%，约等于美国前 500 名高中生水平。之前的 GPT-4o 只有 13.4%。
- 博士级科学推理（GPQA Diamond）： o1 准确率 78%，首次超过了持有该学科博士学位的人类专家。
- 编程竞赛（Codeforces）： o1 达到第 89 百分位，约等于中等偏上的竞赛选手。
数学能力从”高中生都不如”跳到”竞赛选手水平”，一步跨越了整个量级。
关键认知 #9： o1 证明了大模型性能提升的第二条路径——不是把模型变大（train-time scaling），而是让模型”想更久”（test-time scaling）。这打破了”Scaling Laws 到头了”的悲观论调，开辟了全新的优化空间。
6.4 关键技术：从 PPO 到 GRPO
o1 的训练方法核心是 大规模强化学习（RL）。但故事要从后训练技术的演进说起。
PPO 的困境
传统 RLHF 使用 PPO（Proximal Policy Optimization）算法，需要同时维护四个模型：
- Policy 模型（正在训练的语言模型）
- Reference 模型（初始模型的拷贝，KL 散度约束用）
- Reward 模型（打分模型）
- Critic 模型（价值估计网络，用于计算”优势函数”——某个动作到底比平均水平好多少）
四个模型同时占用 GPU 显存，训练极其复杂。更麻烦的是，Critic 模型的训练本身就不稳定——如果 Critic 的价值估计不准确，整个 RL 训练就会走偏。
在 GPT-4 之前的模型上做 RLHF 已经很痛苦了。要在 600B+ 参数的模型上做大规模 RL 来训练推理能力？用 PPO 几乎不可能——显存放不下，训练稳定性也无法保证。
GRPO：去掉 Critic 的优雅方案
2024 年 2 月，DeepSeek 在 DeepSeekMath 论文中提出了 GRPO（Group Relative Policy Optimization）。
GRPO 的核心想法极其简洁：不用 Critic 网络来估计”这个回答有多好”，而是让一组回答互相比较来确定相对优劣。
具体做法：
- 对每个问题，让模型生成一组（比如 64 个）候选回答
- 用奖励信号（比如数学题的正确性）对每个回答打分
- 在这一组内做标准化——计算组内均值和标准差
- 每个回答的”优势”等于它的得分减去组内均值，再除以标准差
- 用这个相对优势来更新模型——比平均好的回答获得正向强化，比平均差的获得负向强化
这个方案的好处是三重的：
第一，显存减半。 去掉了 Critic 网络，从四模型变成三模型（Policy + Reference + Reward）。对于大规模 RL 训练，这是一个巨大的工程优势。
第二，训练更稳定。 不再依赖 Critic 的准确性。组内相对排序天然就是一个可靠的信号——即使奖励函数不完美，“组内第一名”和”组内最后一名”的差距仍然是有意义的。
第三，特别适合有明确正误的任务。 数学题有标准答案，代码有单元测试，逻辑推理有正确结论——这些场景中，奖励信号是精确的，GRPO 可以直接利用。
DeepSeekMath 使用 GRPO 训练后，在 GSM8K、MATH、AIME 等数学 benchmark 上创造了开源模型的新纪录。但当时人们还没有意识到这个算法的真正意义。
6.5 DeepSeek R1：RL 涌现推理能力
如果 o1 是推理革命的”iPhone 时刻”，那 DeepSeek R1 就是推理革命的”Android 时刻”。
2025 年 1 月 20 日，DeepSeek 发布了 R1。它的意义在三个层面上都是突破性的。
第一层：性能平起平坐
DeepSeek R1 在数学、编程和科学推理 benchmark 上全面追平甚至部分超越了 o1：
| Benchmark | o1-1217 | DeepSeek R1 |
|---|---|---|
| AIME 2024 | 79.2% | 79.8% |
| MATH-500 | 96.4% | 97.3% |
| Codeforces Rating | 1891 | 2029 |
| GPQA Diamond | 75.7% | 71.5% |
在最关键的数学和代码竞赛上，R1 甚至略胜一筹。
第二层：纯 RL 的惊人发现
DeepSeek R1 技术报告中最令人震惊的发现是 DeepSeek-R1-Zero——一个不使用任何有监督微调数据，完全通过 RL 训练出来的推理模型。
过程是这样的：从 DeepSeek V3 基础模型出发，不给任何”标准答案”或”示范推理过程”，只用 GRPO 算法进行训练。奖励信号极其简单：
- 数学题答对了→奖励
- 答错了→惩罚
- 格式正确（把思考过程放在
<think>标签里）→小额奖励
没有人类示范的推理步骤。没有 SFT。没有”请你一步一步想”的提示。
结果，模型自发涌现出了以下能力：
- 自我验证： “让我检查一下这个结果对不对”
- 反思与回溯： “等等，这条路走不通，换个方法”
- 将复杂问题分解为子问题
- “Aha moment”： 在思考过程中突然意识到正确答案——DeepSeek 在技术报告中用这个词来描述一个令人动容的现象：模型在长长的推理链中走到死胡同，突然”顿悟”了一条新路。
为什么 GRPO 对这个结果至关重要？因为纯 RL 训练推理能力需要极大的训练规模和极高的稳定性。模型需要在数十万个数学题上生成数百万个推理链，通过微弱但持续的奖励信号逐步学会”怎么想”。如果用 PPO 的四模型架构，显存和稳定性根本撑不住这个规模。GRPO 去掉 Critic 带来的效率提升，是 R1-Zero 实验得以实现的关键前提。
这意味着：推理能力不需要人类示范——给一个基础模型足够的 RL 训练，它自己就能”学会思考”。
第三层：完全开源，成本极低
R1 完全开源，包括模型权重、训练方法和技术细节。DeepSeek 还发布了 1.5B 到 70B 的蒸馏版本，通过让 R1 生成推理数据来训练更小的模型。蒸馏版的 R1-Distill-Qwen-32B 在数学推理上甚至超过了 OpenAI 的 o1-mini。
技术栈的组合效应再次体现：
- V3 的 MoE 架构→基础模型的训练成本只有 557 万美元
- GRPO 算法→RL 训练高效且稳定
- 开源蒸馏→推理模型的能力被压缩到手机都能跑的大小
关键认知 #10： DeepSeek R1 证明了三件事：推理能力可以纯粹通过 RL 自然涌现；GRPO 让大规模 RL 训练在工程上变得可行；以及推理革命可以被开源复现。这三点加在一起，使得推理模型从 OpenAI 的独家优势变成了行业共识和基础设施。
6.6 推理革命的后续演进
R1 发布后，推理模型成为 2025 年最热门的赛道。
OpenAI 的迭代：
- o3（2025.01 预告，2025.04 发布）： o1 的升级版，在 ARC-AGI 测试中得分从 o1 的 32% 飙升到 87.5%（高算力模式），引发了”AGI 是否临近”的激烈讨论。
- o4-mini（2025）： 更小、更快、更便宜的推理模型，让推理能力进入日常应用场景。
Claude 的跟进：
- Claude 3.5 Sonnet 引入了 extended thinking 模式，支持长达数万 token 的思考过程。
- Claude 在代码和分析场景中成为推理模型的强劲竞争者。
Google 的回应：
- Gemini 2.0 Flash Thinking 和 Gemini 2.5 Pro 引入了推理模式。
开源的爆发：
- QwQ（Qwen）、Skywork-o1、各家基于 R1 蒸馏方法的推理模型纷纷涌现。GRPO 算法被广泛采用——Hugging Face 的 TRL 库、LLaMA-Factory 等开源训练框架都迅速集成了 GRPO 支持。
到 2025 年底，“推理模型”已经不是一个新奇概念，而是大模型的标配能力。每家主要厂商都有自己的推理模式，区别只在于推理效率和成本。
6.7 这场革命改变了什么
推理革命不仅仅是 benchmark 数字的提升。它从根本上改变了人们对大模型能力边界的认知。
之前： 大模型擅长”快思考”——语言理解、文本生成、翻译、摘要。但在需要严密逻辑的任务上（数学证明、复杂编程、科学推理），可靠性不够。
之后： 大模型在”慢思考”场景也能表现出色。它们可以被用于：
- 辅助科学研究（数学、物理、生物的定理推导）
- 复杂代码工程（多文件、多步骤的架构设计和实现）
- 需要严密逻辑的商业分析和法律推理
更深层的技术认知变化是： 后训练（特别是 RL）可以创造全新的能力维度，而不仅仅是”对齐”或”微调”。R1-Zero 证明了推理能力不在预训练数据中——它是通过 RL 训练在模型中”涌现”出来的。这意味着 模型的能力上限不只取决于预训练，还取决于后训练的方法和规模。 Train-time scaling 和 test-time scaling 构成了两个独立的维度，它们的组合空间远未被探索完。
本章回顾
| 事件 | 时间 | 为什么重要 |
|---|---|---|
| OpenAI o1 发布 | 2024.09 | 推理模型开山之作，证明 test-time scaling 有效 |
| DeepSeek R1 发布 | 2025.01 | 开源追平 o1，GRPO + 纯 RL 涌现推理能力 |
| OpenAI o3 发布 | 2025.04 | ARC-AGI 87.5%，推理能力再上台阶 |
如果这一章只需要记住一句话： 推理革命发现了大模型性能提升的第二条曲线——不是让模型”更大”，而是让模型”想更久”。GRPO 让这场革命在工程上可行，DeepSeek R1 让它在开源世界中可复现。