章节导航 第 2 章 / 共 10 章
第 2 章

第二章：ChatGPT 时刻

大模型从实验室走向公众，两个月一亿用户（2022-2023）

大模型 AI历史 ChatGPT RLHF 关键时刻

第二章：ChatGPT 时刻

大模型从实验室走向公众，史上增长最快的消费级产品（2022-2023）

2.1 被忽视的前奏：InstructGPT 与 RLHF

ChatGPT 的故事不是从 2022 年 11 月开始的。它的真正起点是同年 1 月发表的一篇论文——《Training language models to follow instructions with human feedback》，通常被称为 InstructGPT 论文。

这篇论文解决了一个 GPT-3 时代的核心痛点：GPT-3 很强大，但不听话。

GPT-3 是一个在互联网文本上训练的”下一个词预测器”。当你向它提问时，它并不真正理解你在”问问题”——它只是在做最可能的文本续写。所以它经常答非所问、胡编乱造、或者生成不安全的内容。

InstructGPT 提出了一套三阶段的训练方法来解决这个问题：

第一步：Supervised Fine-Tuning（SFT）。 雇佣标注员编写高质量的”指令-回答”对，然后用这些数据对 GPT-3 进行有监督微调。让模型学会”当人类给出一个指令时，应该给出什么样的回答”。

第二步：训练奖励模型（Reward Model）。 让模型对同一个问题生成多个回答，然后让标注员对这些回答进行排序。用这些排序数据训练一个奖励模型——它能判断”哪个回答更好”。

第三步：强化学习（RLHF）。 用 PPO 算法，以奖励模型的打分作为奖励信号，进一步优化语言模型。让它生成”奖励模型认为好的”回答。

这套方法被称为 RLHF（Reinforcement Learning from Human Feedback）——基于人类反馈的强化学习。

InstructGPT 的结果令人瞩目：一个只有 13 亿参数的 InstructGPT 模型，在人类评估中的表现优于原始的 1750 亿参数 GPT-3。也就是说，通过对齐（alignment），一个小 100 多倍的模型可以被人类认为”更好用”。

关键认知 #3： “对齐”不只是让模型更安全——它释放了模型已有的能力。GPT-3 的知识和推理能力一直都在那里，但被”不知道怎么好好说话”遮蔽了。InstructGPT/RLHF 的贡献是给模型装上了一个合适的交互界面。这是后来所有聊天 AI 产品的理论基础。

一个被低估的决策

InstructGPT 在论文发表时并没有引起轰动。学术界的反应相当克制——很多人认为这不过是”用人工标注给模型微调”的老把戏。RLHF 在概念上也不新鲜，DeepMind 早在 2017 年就发表过相关工作。

但 OpenAI 看到了别人没看到的东西：RLHF 不只是一个技术改进——它是将语言模型变成产品的关键一步。 没有 RLHF，GPT-3 是一个强大但难以控制的引擎。有了 RLHF，它变成了一辆可以开上路的车。

十个月后，这辆车以 ChatGPT 的名字驶入了公众视野。

2.2 2022 年 11 月 30 日

ChatGPT 于 2022 年 11 月 30 日发布。它基于 GPT-3.5（GPT-3 的改进版本，加入了代码训练数据），经过 InstructGPT 风格的 RLHF 训练。

从技术角度看，ChatGPT 并没有带来任何突破性的新技术。它使用的所有技术——Transformer、预训练、SFT、RLHF——在论文中都已经发表过。GPT-3.5 的模型能力相比 GPT-3 有提升，但不是量级的跳跃。

但从产品和社会影响的角度看，ChatGPT 是大模型历史上最重要的事件之一。原因很简单：它让全世界第一次直接体验到了大模型能做什么。

在 ChatGPT 之前，使用 GPT-3 需要通过 API，需要编程能力，需要精心设计 prompt。这意味着它的用户群基本局限于开发者和研究者。

ChatGPT 把这一切简化成了一个聊天框。任何人都可以打开网页，用自然语言跟 AI 对话。它可以写文章、编代码、翻译、解释概念、写诗、制定旅行计划、帮你写邮件——而且大部分时候做得相当好。

数字说明一切

  • 5 天： ChatGPT 达到 100 万用户。
  • 2 个月： ChatGPT 达到 1 亿月活用户——成为有史以来增长最快的消费级应用。作为对比，TikTok 达到 1 亿用户用了 9 个月，Instagram 用了 2.5 年。
  • 2024 年 8 月： ChatGPT 月活用户突破 2 亿。
  • 2025 年底： ChatGPT 累计用户超过 8 亿。

这些数字改变了一切。不是因为它们本身重要，而是因为它们证明了一件事：大模型不是一个学术玩具，它是一个有巨大市场需求的产品。

2.3 连锁反应：行业震荡

ChatGPT 发布后的六个月里，全球科技行业发生了一系列连锁反应。

Google 的”红色警报”

2023 年 2 月，Google CEO Sundar Pichai 宣布了 Bard——Google 对 ChatGPT 的回应。据报道，ChatGPT 的发布在 Google 内部触发了”红色警报”（Code Red）。一家以搜索为核心商业模式的公司，突然发现用户可能更喜欢直接”问 AI”而不是”搜索关键词”。

Bard 的首次演示出了一个事实性错误，导致 Google 股价单日下跌超过 7%，市值蒸发约 1000 亿美元。这个插曲从侧面说明了市场对这场竞争的关注程度。

微软的”iPhone 时刻”

微软的反应是最快的——因为它早就准备好了。微软在 2019 年就投资了 OpenAI 10 亿美元，到 2023 年初又追加了约 100 亿美元。2023 年 2 月，微软将 GPT-4 集成到了 Bing 搜索中，并将 AI 功能命名为 Copilot 嵌入了 Office 全套产品。

微软 CEO Satya Nadella 称之为”iPhone 时刻”。

全球军备竞赛

ChatGPT 之后的 12 个月内：

  • Anthropic 发布了 Claude（2023 年 3 月）
  • OpenAI 发布了 GPT-4（2023 年 3 月），展示了多模态能力
  • Meta 泄露/发布了 Llama（2023 年 2 月），引爆了开源大模型运动
  • Google 从 Bard 升级到 Gemini（2023 年 12 月）
  • 百度 发布了文心一言（2023 年 3 月）
  • 阿里 发布了通义千问（2023 年 4 月）

全球范围内，超过 100 家公司开始训练或声称在训练自己的大模型。风投向 AI 领域涌入了创纪录的资金。“大模型”从一个技术概念变成了商业热词和投资标的。

2.4 GPT-4：能力的跃迁

2023 年 3 月 14 日，OpenAI 发布了 GPT-4。

与之前几代模型不同，OpenAI 没有公布 GPT-4 的模型规模、架构细节和训练数据。这一决定标志着大模型行业从”开放研究”向”商业竞争”的转变。

但 GPT-4 的能力是无法隐藏的。

在考试和专业基准上： GPT-4 通过了模拟的律师资格考试（得分在应试者前 10%）、SAT 数学（700/800）、GRE 写作（满分 6 分中的 5 分）、以及多门 AP 考试。GPT-3.5 在律师资格考试中的得分在最低的 10%，GPT-4 直接跳到了最高的 10%。

在代码能力上： GPT-4 可以编写和调试相当复杂的程序，理解代码逻辑，甚至能通过一些编程竞赛题目（虽然还无法在 Codeforces 上稳定拿高分）。

在多模态上： GPT-4 可以理解图像。你给它一张图片，它能描述图片内容、回答关于图片的问题、甚至根据草图生成代码。

在推理能力上： GPT-4 在复杂推理任务上的表现比 GPT-3.5 有显著提升，尤其是在需要多步推理的数学和逻辑问题上。但它仍然会犯低级推理错误——这个问题要到 2024 年的推理模型时代才会被更好地解决。

真正的影响

GPT-4 的重要性不在于它在某个具体 benchmark 上的分数。它的重要性在于，它让”AI 能力逐步逼近人类”的叙事变得可信了。

在 GPT-3 时代，大模型是一个”聪明但不太靠谱的助手”。GPT-4 之后，它变成了一个”在很多专业领域达到人类平均甚至中上水平的助手”。

这个变化对 AI 行业的影响是深远的：它吸引了大量来自传统行业（法律、医疗、金融、教育）的关注和投资，因为这些行业的从业者第一次看到了 AI 可能真正改变自己工作方式的前景。

2.5 RLHF 之后：对齐研究的爆发

ChatGPT 的成功让 RLHF 从一个冷门方向变成了热门研究领域。但很快，研究者们发现 RLHF 有一系列实际问题：

训练不稳定。 PPO 算法在大模型上的训练非常不稳定，需要大量的调参经验。奖励模型的过优化（reward hacking）也是一个严重问题——模型会学会”讨好”奖励模型而不是真正变好。

成本高昂。 RLHF 需要训练一个额外的奖励模型，需要在线采样，需要同时维护多个模型。这让很多小团队望而却步。

偏好标注困难。 什么是”好的回答”？这个问题看似简单，实际上极其模糊。标注员之间的一致性经常很差，尤其是在涉及创意、主观判断和文化差异的任务上。

这些问题催生了一系列替代方案：

  • DPO（Direct Preference Optimization）： 2023 年 5 月，斯坦福团队提出了 DPO。它证明了一个数学等价性——RLHF 的优化目标可以直接用偏好数据来训练，不需要单独的奖励模型和 PPO 算法。这大大简化了对齐训练的流程。DPO 很快成为学术界最流行的对齐方法。

  • Constitutional AI（CAI）： Anthropic 提出了”宪法 AI”的概念——用一套明确的规则（“宪法”）来指导 AI 的行为，减少对人类标注的依赖。

  • LIMA 与”表面对齐假说”： 2023 年，Meta 的 LIMA 论文用仅仅 1000 条精选数据做 SFT，就训练出了一个表现不错的聊天模型。它提出了”表面对齐假说”——大部分知识和能力来自预训练，SFT/对齐只是教会模型”以什么格式和风格回答”。这个发现深刻影响了后续的数据策略：质量远比数量重要。

关键认知 #4： ChatGPT 的影响不仅在于它是一个成功的产品——它重新定义了”好的 AI”意味着什么。在 ChatGPT 之前，AI 的好坏主要用 benchmark 分数来衡量。在 ChatGPT 之后，“人类觉得好不好用”变成了终极衡量标准。这个转变催生了整个”对齐”研究方向，也改变了模型训练的方法论。

本章回顾：两个不可逆的转折

事件时间为什么重要
InstructGPT / RLHF2022.01解决了”模型很强但不听话”的问题，为产品化扫清了障碍
ChatGPT 发布2022.11大模型从实验室走向公众，触发全球军备竞赛
GPT-4 发布2023.03AI 能力逼近人类专业水平变得可信
DPO / LIMA2023对齐研究爆发，“质量 > 数量”成为共识

如果这一章只需要记住一句话： ChatGPT 不是技术突破——它是产品突破和认知突破。它让 80 亿人中的数亿人第一次直接感受到了”AI 能做事”，从而改变了整个行业的资源分配和发展方向。