第一章：注意力就是一切

Transformer 架构的诞生，与”大力出奇迹”信仰的建立（2017-2020）

---

1.1 一篇改变一切的论文

2017 年 6 月 12 日，一篇名为《Attention Is All You Need》的论文被提交到 arXiv。八位作者来自 Google Brain 和 Google Research，其中大多数人当时并不知名。论文提出了一种新的神经网络架构——Transformer——用来替代当时统治序列建模领域的循环神经网络（RNN）及其变体 LSTM。

这篇论文的核心贡献用一句话就能概括：用注意力机制替代循环结构来处理序列数据。

这听起来不像是一场革命。但它确实是。

RNN 和 LSTM 的根本限制在于它们的计算是顺序的——处理一个序列时，必须一个 token 一个 token 地往前走，上一步的输出是下一步的输入。这意味着两件事：第一，你无法并行化计算，GPU 的并行能力被浪费了；第二，长距离依赖很难建模，因为信息在传递过程中会衰减——即使有了 LSTM 的门控机制，几千个 token 之外的信息也很难有效传到当前位置。

Transformer 的自注意力（Self-Attention）机制打破了这两个限制。每个 token 可以直接”看到”序列中的所有其他 token，不需要通过中间步骤传递信息。这意味着：

• 可以完全并行化计算。 整个序列的所有 token 同时处理，训练速度大幅提升。
• 长距离依赖不再是问题。 第 1 个 token 和第 10000 个 token 之间的关系，跟第 1 个和第 2 个之间的关系，在计算上没有本质区别。

代价是什么？注意力计算的复杂度是 O(n²)——序列长度的平方。这在当时看来是一个严重的限制（后来证明确实是，直到 2024 年各种高效注意力方案出现）。但在 2017 年，人们处理的序列长度通常只有几百到几千个 token，O(n²) 完全可以接受。

一个反常识的发现

论文最初的实验是在机器翻译任务上做的。Transformer 在 WMT 2014 英德翻译和英法翻译任务上都取得了新的最好成绩（SOTA），而且训练时间比之前最好的模型少得多。

但真正让人意外的不是它比 RNN 更好——而是它比 RNN 更好这件事来得如此彻底。论文发表后不到两年，几乎所有主要的 NLP 任务都被 Transformer 或其变体占据了榜首。RNN/LSTM 从主流走向边缘的速度之快，在深度学习的历史上几乎没有先例。

这说明了什么？它说明 RNN 的顺序计算不仅仅是一个”工程不便”——它是一个根本性的瓶颈，阻止了模型有效地利用数据和计算。Transformer 不是一个更好的 RNN，它是一种完全不同的计算范式。

关键认知 #1： Transformer 的重要性不在于它在某个 benchmark 上提升了几个点，而在于它打开了一扇门——一扇通向”用更多数据和更多算力来换取更好模型”的门。在 RNN 时代，这扇门是锁着的：你可以给 LSTM 更多数据，但因为计算效率的限制，收益很快就饱和了。Transformer 解开了这把锁。

八位作者的后来

一个有趣的后续：这篇论文的八位作者后来全部离开了 Google。其中多人创办了自己的 AI 公司——Noam Shazeer 创立了 Character.AI（后来部分回归 Google），Aidan Gomez 创立了 Cohere，Ashish Vaswani 和 Niki Parmar 创立了 Essential AI，Llion Jones 创立了 Sakana AI，Lukasz Kaiser 去了 OpenAI。

一篇论文的作者后来创办了至少五家 AI 公司。这在学术界几乎是前所未有的。它从一个侧面说明了 Transformer 这篇论文的深远影响——这些人比任何人都清楚，他们打开的那扇门后面有什么。

---

1.2 BERT 与 GPT：两条分岔路

Transformer 发布后不到两年，两条截然不同的技术路线从它身上分叉出来。

2018 年 6 月：OpenAI 发布 GPT-1（Generative Pre-trained Transformer）。 核心思路：用 Transformer 的解码器（Decoder）做单向语言模型——给定前面的文本，预测下一个词。先在大量无标注文本上预训练，再在具体任务上微调。模型规模 1.17 亿参数。

2018 年 10 月：Google 发布 BERT（Bidirectional Encoder Representations from Transformers）。 核心思路：用 Transformer 的编码器（Encoder）做双向语言模型——用掩码预测（Masked Language Modeling）的方式，让模型同时看到上下文来理解语言。3.4 亿参数。

两者的区别是根本性的：

• GPT 路线（Decoder-only）： 模型学的是”生成”——给定一段话的开头，续写下去。这是一个生成任务。
• BERT 路线（Encoder-only）： 模型学的是”理解”——给定一段完整的文本，理解它的含义。这是一个理解任务。

在 2018-2019 年，BERT 路线是明显的赢家。BERT 在 11 个 NLP 基准测试上全面超越了之前的最好成绩，引爆了整个 NLP 社区。随后的两年里，RoBERTa、ALBERT、DeBERTa、ELECTRA 等一系列 BERT 变体层出不穷。学术界几乎全面转向了 BERT。

GPT-1 的表现相比之下就平平无奇了。它在一些任务上表现不错，但在大多数 NLP 基准测试上比不过 BERT。原因很直觉：双向理解天然比单向预测更适合理解型任务。

如果你在 2019 年问一个 NLP 研究者”Transformer 的未来在哪里”，答案几乎一定是 BERT 路线。

但 OpenAI 没有放弃。

GPT-2：争议与启示

2019 年 2 月，OpenAI 发布了 GPT-2。模型规模从 GPT-1 的 1.17 亿参数跳到了 15 亿参数——增长了 10 倍以上。

GPT-2 最出名的不是它的技术，而是围绕它的争议。OpenAI 声称 GPT-2 的文本生成能力”太危险了”，以至于不能完全公开模型权重。这一决定在学术界引发了巨大争议——很多人认为这不过是一次精心策划的营销炒作。

但抛开争议，GPT-2 透露了一个重要信号：当你把 Decoder-only 的语言模型做大 10 倍，它的能力不是线性增长的，而是出现了质的变化。

GPT-1 生成的文本通常在几句话之后就会失去连贯性。GPT-2 可以生成几段连贯、有逻辑、甚至有点”聪明”的文本。它甚至可以在没有针对性训练的情况下，通过”零样本”（zero-shot）的方式完成一些任务——只要你用自然语言描述这个任务。

这是一个微妙但深远的发现：语言模型可能不需要针对每个任务单独训练。 如果模型足够大、训练数据足够多，它也许可以”学会”完成各种任务——只要你用自然语言告诉它你想做什么。

当时几乎没有人认真对待这个想法。它太激进了。

---

1.3 GPT-3：涌现的前夜

2020 年 5 月，OpenAI 发布了 GPT-3。

1750 亿参数。 比 GPT-2 大了 100 多倍。训练数据约 5000 亿 token，主要来自 Common Crawl、WebText2、Books1、Books2 和维基百科。训练成本估计在数百万到一千万美元之间——在当时是一个天文数字。

GPT-3 的论文标题是 “Language Models are Few-Shot Learners”——语言模型是小样本学习者。这个标题精确地描述了 GPT-3 最重要的发现。

In-Context Learning：无人预见的能力

GPT-3 展示了一种全新的使用模型的方式：In-Context Learning（上下文学习）。你不需要微调模型。你只需要在 prompt 里给出几个任务的例子（few-shot），GPT-3 就能”学会”执行这个任务。

例如，你给它看三个英法翻译的例子：

Sea otter => Loutre de mer
Peppermint => Menthe poivrée  
Cheese => Fromage

然后写 Plush giraffe =>，GPT-3 会回答 Girafe en peluche。

这在任何传统的机器学习框架里都说不通。模型的参数没有更新，没有梯度下降，没有训练过程——它只是在”读”了几个例子之后，就”学会”了一个新任务。

更令人惊讶的是，这种能力的强弱与模型规模密切相关。GPT-3 的论文详细比较了不同规模（从 1.25 亿到 1750 亿参数）模型的 few-shot 表现，发现了一条清晰的规律：模型越大，few-shot learning 的能力越强，而且增长趋势没有饱和的迹象。

小模型在 zero-shot 和 few-shot 之间的差距很小——给不给例子都差不多。大模型则完全不同：给出几个例子后，性能可以大幅提升。这意味着 in-context learning 是一种涌现能力——只有当模型足够大时才会出现。

关键认知 #2： GPT-3 证明了语言模型不仅仅是”更好的文本生成器”——它们可能是一种全新的计算范式。一个足够大的语言模型不需要为每个任务分别训练，它可以通过”阅读指令”来完成新任务。这为后来的 ChatGPT、指令微调和对齐研究奠定了概念基础。

代价与质疑

GPT-3 的成功不是没有代价的。

训练成本是第一个问题。1750 亿参数的模型训练一次需要数百万美元的计算成本。在 2020 年，全世界有能力训练这种规模模型的组织屈指可数。

事实准确性是第二个问题。GPT-3 经常自信地编造错误信息——后来被称为”幻觉”（hallucination）。它没有知识检索机制，所有”知识”都存储在参数里，这意味着它的知识既不精确也不完整。

可控性是第三个问题。GPT-3 有时会产生有偏见、有害甚至危险的输出。作为一个在互联网文本上训练的模型，它忠实地学会了人类语言中所有好的和坏的东西。

这三个问题——成本、幻觉、可控性——在 2020 年都没有好的解决方案。但 GPT-3 的影响已经不可逆转。

范式确立：Decoder-only + 预训练 + Scaling

回头看，从 Transformer（2017）到 GPT-3（2020），大模型领域在三年内确立了一个基本范式：

1. Transformer 架构是基础。具体来说，是 Decoder-only 的 Transformer。BERT 那条路线后来证明在大规模模型上不如 GPT 路线有效——编码器的双向注意力在生成任务上天然受限，而随着模型变大，生成能力才是最有价值的能力。

2. “预测下一个词”是训练目标。 这个看似简单到荒谬的目标——给定一串文本，预测下一个 token——竟然能产生如此强大的模型。后来的研究表明，这不是巧合：预测下一个词需要模型理解语法、语义、逻辑、世界知识和推理能力。一个完美的下一个词预测器，在某种意义上，就是一个完美的语言理解和推理系统。

3. 规模是关键杠杆。 从 GPT-1（1 亿）到 GPT-2（15 亿）到 GPT-3（1750 亿），每一次数量级的增长都带来了质的能力飞跃。这不是”更多计算带来更好性能”的线性故事——它更像是物理学中的相变：水加热到 100 度之前什么都不会发生，达到 100 度的瞬间，它变成了蒸汽。

这个范式——Decoder-only Transformer + 下一个词预测 + 大规模训练——在 2020 年被 GPT-3 确立，直到 2026 年的今天依然是行业的基本共识。中间有过无数的改进、优化和变体，但没有人成功地用一个完全不同的范式取代它。

这就是为什么 Transformer 的发明和 GPT 路线的成功是第一个”关键时刻”——它不仅定义了起点，还定义了此后所有发展的方向。

---

本章回顾：三个不可逆的转折

事件	时间	为什么重要
Transformer（Attention Is All You Need）	2017.06	打开了”用并行计算处理序列”的大门，使大规模语言建模成为可能
GPT vs BERT 路线之争	2018-2019	确立了 Decoder-only 生成式路线最终胜出的方向
GPT-3 与 In-Context Learning	2020.05	证明了 scaling 能产生涌现能力，“一个模型做所有任务”不再是幻想

如果这一章只需要记住一句话，那就是： 大模型的故事始于一个架构创新（Transformer），成于一个信仰的建立——模型足够大的时候，量变会产生质变。

这个信仰在接下来的几年里将被反复验证、量化、挑战和重新定义。但它的核心——scale is all you need——从未被真正推翻。