第三章：Scaling Laws 的发现与困境

大模型领域最重要的科学发现，以及它遇到的天花板（2020-2025）

---

3.1 Kaplan Scaling Laws：信仰的科学化

2020 年 1 月，OpenAI 发表了一篇改变行业走向的论文：《Scaling Laws for Neural Language Models》。第一作者是 Jared Kaplan，一位理论物理学家——这不是巧合。

论文的发现可以用三句话概括：

1. 语言模型的性能（用交叉熵损失衡量）与三个变量呈幂律关系：模型参数量 N、数据量 D、训练计算量 C。
2. 这三个变量中，参数量的影响最大。 在计算预算固定的情况下，应该优先把模型做大，而不是用更多数据训练更多步。
3. 这些关系是平滑的、可预测的幂律曲线，没有明显的拐点或饱和。

第三点是最震撼的。它意味着，只要你有更多的计算资源，你就能训练出更好的模型——而且这种关系是可量化预测的。

这不再是经验性的”模型越大越好”的模糊直觉。这是一个有精确数学公式的定量规律。你可以用小规模实验来预测大规模训练的结果。你可以用算力预算来计算能训出多好的模型。

这对整个行业的影响是深远的。

从”炼丹”到”工程”

在 Scaling Laws 之前，训练大模型在很大程度上是”炼丹”——你调各种超参数，尝试各种技巧，祈祷训练不崩溃，然后看结果好不好。没有人能提前预测结果。

Scaling Laws 把这个过程变成了一门工程。你知道输入（算力、数据、参数）和输出（模型性能）之间的关系。你可以做规划。你可以做成本估算。你可以做投资决策。

这直接解释了为什么 2020-2023 年间，数百亿美元涌入了 AI 算力建设。因为投资者第一次有了一个”科学依据”来判断投资回报：如果 Scaling Laws 成立，那么投入更多算力就一定能得到更好的模型。 这是一个极其强大的投资论点。

关键认知 #5： Scaling Laws 的真正意义不在于技术层面——它在于将 AI 研究从”科学探索”转变为”工程投资”。当你能用数学公式预测投入和产出的关系时，大规模投资就变得合理了。这一发现直接导致了后来数千亿美元级别的 AI 算力投入。

---

3.2 Chinchilla：第一次修正

2022 年 3 月，DeepMind 发表了 Chinchilla 论文（《Training Compute-Optimal Large Language Models》），对 Kaplan 的结论做了一个重要修正。

Kaplan 的建议是：在固定计算预算下，优先增加参数量。训练一个巨大的模型，用相对较少的数据训练较少的步数。

Chinchilla 的发现完全不同：最优策略是让模型参数量和训练数据量同比例增长。 具体来说，每增加一倍参数，也应该增加大约一倍的训练数据。

这意味着什么？以当时最大的模型 Gopher（2800 亿参数，3000 亿 token）为例，按照 Chinchilla 的最优比例，它应该用大约 5.6 万亿 token 的数据来训练——比实际使用的数据多了将近 20 倍。或者反过来说：如果你只有 3000 亿 token 的数据，你应该训练一个只有 70 亿参数的模型，而不是 2800 亿。

DeepMind 用实验验证了这个结论：他们训练了一个 700 亿参数的模型 Chinchilla，使用了 1.4 万亿 token 的数据，结果在几乎所有 benchmark 上都超过了 2800 亿参数的 Gopher——用四分之一的参数达到了更好的性能。

行业的集体”啊哈时刻”

Chinchilla 论文引发了整个行业的集体反思。

在 Chinchilla 之前，“大模型竞赛”的核心指标是参数量。谁的模型参数最多，谁就最强。PaLM 5400 亿参数，MT-NLG 5300 亿参数，Gopher 2800 亿参数——公司们争相堆参数。

Chinchilla 表明：这些模型全都严重欠训练了。 它们有足够大的”胃”（参数），但吃的”食物”（数据）远远不够。

这个发现产生了两个直接影响：

1. 数据成为瓶颈。 在 Chinchilla 之前，大家担心的是”GPU 不够”。在 Chinchilla 之后，大家开始担心”数据不够”。高质量文本数据到底有多少？互联网上的文本是不是快被用完了？这些问题从边缘走到了中心。

2. 训练策略发生了转变。 后来的主要模型——Llama、Qwen、DeepSeek——都采用了远高于 Chinchilla 最优比例的数据量。Llama 2 70B 用了 2 万亿 token，Llama 3 70B 用了 15 万亿 token。这看似违反了 Chinchilla 的建议，但实际上反映了一个更深层的考虑：推理成本比训练成本更重要。 在部署阶段，一个小模型（用更多数据训练到极致）比一个大模型更经济。

---

3.3 涌现能力的发现与争论

2022 年，Google 的研究团队发表了一篇引起巨大关注的论文：《Emergent Abilities of Large Language Models》。

论文定义了”涌现能力”（Emergent Abilities）：在模型规模小的时候完全不存在，但当模型规模超过某个临界点时突然出现的能力。 论文展示了大量例子——多步算术、概念组合、类比推理等——这些能力在小模型上表现为随机猜测（接近零），但在模型超过一定规模后突然跳到了相当高的水平。

这个发现极大地强化了”大就是好”的信仰。它暗示了一种令人兴奋的可能性：也许 AGI 只需要把模型继续做大就行了。 如果每一次规模的飞跃都能解锁新的涌现能力，那么足够大的模型是不是就能做任何事？

质疑声

但到了 2023 年，这个叙事开始受到质疑。

斯坦福的研究者在论文《Are Emergent Abilities of Large Language Models a Mirage?》中提出了一个令人不安的论点：涌现能力可能只是度量方式的假象。 当你用非连续的评估指标（如精确匹配率）来衡量模型表现时，你会看到”突然跳变”的假象。但如果你用连续的指标（如 token 级别的对数概率）来衡量，性能提升是平滑的——没有什么”涌现”。

这场争论至今没有完全定论。但它揭示了一个重要事实：我们对大模型的理解仍然非常有限。 我们不完全理解它们为什么能工作，不完全理解 scaling 带来的能力提升是否有上限，也不完全理解”涌现”到底是一种真实的现象还是评估方法的伪影。

---

3.4 “Scaling 见顶了吗？”

2024 年下半年，一个问题开始在行业中蔓延：预训练的 Scaling Laws 是不是要见顶了？

信号来自多个方向：

数据墙（Data Wall）。 高质量英文文本数据的总量是有限的。据估算，互联网上可用于训练的高质量英文文本大约在 10-20 万亿 token。到 2024 年，头部模型的训练数据量已经逼近甚至触及了这个上限。Llama 3 用了 15 万亿 token，已经需要对数据进行多次重复（epoch > 1）。

收益递减。 2024 年发布的新模型——GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro——在常规 benchmark 上的提升幅度明显放缓。从 GPT-3 到 GPT-4 的跳跃是惊人的，但从 GPT-4 到 GPT-4o 的提升就温和得多。

训练成本的指数增长。 按照 Scaling Laws，每提升一个”等级”的模型能力，需要大约 10 倍的计算量。GPT-4 的训练成本估计在 1 亿美元量级。下一代模型的训练成本可能需要 10 亿美元甚至更多。这种指数增长是否可持续？

Ilya Sutskever 的离开。 2024 年 5 月，OpenAI 联合创始人兼首席科学家 Ilya Sutskever 离开公司，创办了 Safe Superintelligence Inc.（SSI）。虽然离开的原因复杂，但一些分析认为这与 OpenAI 内部对”仅靠 scaling 能否通向 AGI”的分歧有关。

但 Scaling 真的停了吗？

答案是否定的——它没有停止，而是换了一个方向。

2024 年 9 月，OpenAI 发布了 o1 模型。它证明了一个全新的 scaling 轴的存在：test-time compute（推理时计算）。

传统的 Scaling Laws 关注的是 training compute——你在训练阶段投入多少算力。o1 开辟了另一个维度：不是训练时用更多算力，而是推理时让模型”想更久”。模型在回答问题之前，可以进行长时间的内部推理（chain-of-thought），这个推理过程可以消耗大量的 token 和计算。

结果表明，增加推理时间的计算量，也能带来类似 Scaling Laws 的性能提升——在某些任务上，效果甚至比增加训练计算更好。

这是一个范式级别的转变。它意味着 Scaling 不是见顶了——它只是从一个维度（训练）扩展到了两个维度（训练 + 推理）。

关键认知 #6： Scaling Laws 可能是大模型领域最重要的科学发现。它把”做更好的 AI”从一个模糊的研究问题，变成了一个可量化、可规划、可投资的工程问题。它的每一次修正——Chinchilla 的数据比例修正、涌现能力的争论、预训练 scaling 放缓与 test-time compute scaling 的发现——都深刻地改变了行业的资源分配和技术方向。

---

3.5 认知演变时间线

回顾 Scaling Laws 相关认知的演变：

2020 Kaplan Scaling Laws
  → "只要加算力，模型就会更好，而且可以精确预测"

2022 Chinchilla
  → "等等，参数和数据要平衡，很多模型严重欠训练了"

2022 涌现能力
  → "模型大到一定程度会突然解锁新能力！AGI 可能只需要 scale"

2023 涌现能力质疑
  → "涌现可能是度量方式的幻觉，实际提升可能是平滑的"

2024 H1 预训练 Scaling 放缓
  → "数据墙、收益递减——Scaling 要见顶了？"

2024 H2 Test-time Compute Scaling
  → "Scaling 没有见顶，它只是换了一个方向：从训练转向推理"

2025 多维度 Scaling
  → "训练 compute + 推理 compute + 数据质量 + 架构效率
     = 多维度联合 scaling，远未触顶"

---

本章回顾：三个不可逆的认知转变

事件	时间	认知转变
Kaplan Scaling Laws	2020.01	AI 从”炼丹”变为”工程”——性能可以用算力精确预测
Chinchilla	2022.03	”参数为王”→“参数和数据要平衡”——数据成为新瓶颈
Test-time Compute Scaling	2024.09	预训练 Scaling 之外，推理时 Scaling 成为新维度

如果这一章只需要记住一句话： Scaling Laws 是大模型领域的”牛顿定律”——它不完美，需要修正，但它第一次为 AI 研究提供了可量化的预测框架。而它的每一次修正本身，就是行业最重要的认知进步。