走进大语言模型

为什么需要这本书

大语言模型（Large Language Model, LLM）正在重塑整个 AI 领域。从 GPT-3 在 2020 年引爆”大模型时代”，到如今 GPT-5、Claude 4、Gemini 3、DeepSeek V4 等模型的百花齐放，LLM 已经从学术研究走向工业生产，深刻影响着搜索、编程、教育、医疗等几乎所有行业。

然而，理解 LLM 的门槛正在快速升高。这不是一个看完一篇论文就能掌握的领域——它涉及数据工程、模型架构、训练工程、对齐技术、推理优化、系统部署等多个交叉学科。现有的教材要么过于学术（缺乏工业实战视角），要么过于碎片化（只覆盖某一个子领域），要么已经过时（LLM 领域半年就是一个时代）。

本书的目标是：让你通过一本书，系统性地掌握 LLM 全链路的核心知识，达到能够独立设计、训练、优化和部署大模型的专家水平。

本书的独特之处

特性	本书	传统教材	博客/论文
全栈覆盖	数据→训练→对齐→推理→部署→Agent	通常只覆盖 2-3 个主题	单点深入
实战视角	基于一线工业经验	偏学术理论	质量参差不齐
持续更新	定期吸收最新进展	出版后固定	时效性不稳定
深度	从原理到数学到工程	要么太浅要么太深	取决于作者

大模型发展简史

预训练语言模型的诞生

大模型的故事要从 预训练（pre-training） 范式讲起。

2018 年是分水岭。在此之前，NLP 领域的主流方法是为每个任务训练专门的模型——情感分析一个模型、机器翻译一个模型、文本摘要又一个模型。ELMo（Peters et al., 2018）首次证明了”在大规模语料上预训练，然后在下游任务上微调”的两阶段范式的威力。

紧接着，两个里程碑式的工作同年发布：

• GPT（2018.6）：OpenAI 提出用 Transformer Decoder 做自回归语言建模预训练，然后微调到下游任务。模型只有 117M 参数，但展示了 generative pre-training 的潜力。
• BERT（2018.10）：Google 提出用 Transformer Encoder 做双向掩码语言建模（MLM）预训练。在 11 个 NLP 任务上取得 SOTA，彻底改变了 NLP 的研究范式。

关键洞察：GPT 和 BERT 的成功说明了一个深刻的道理——语言本身就包含了世界知识。在足够多的文本上训练语言模型，模型就能学到语法、语义、常识甚至推理能力。

规模化时代：从 GPT-2 到 GPT-3

GPT-2（Radford et al., 2019, 1.5B 参数）首次展示了”大力出奇迹”——不需要微调，只需要给一些示例（few-shot），模型就能完成各种 NLP 任务。OpenAI 当时以”太危险”为由延迟发布，引发了关于 AI 安全的早期讨论。

GPT-3（Brown et al., 2020, 175B 参数） 是真正的转折点。论文 “Language Models are Few-Shot Learners” 中系统验证了 in-context learning（上下文学习）能力：给模型几个示例，模型就能”理解”任务并给出合理的回答，完全不需要更新任何参数。这种 emergent ability（涌现能力）是小模型所不具备的，它暗示了一个令人震撼的可能性：也许我们不需要为每个任务训练专门的模型，一个足够大的通用模型就够了。

Scaling Laws 的发现

2020 年，Kaplan et al. 发表了划时代的论文 “Scaling Laws for Neural Language Models”，揭示了一组优美的幂律关系：

$L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}$

其中 $L$ 是 loss，$N$ 是参数量，$\alpha_N \approx 0.076$。这意味着每增加 10 倍参数量，loss 下降约 0.95 倍——而且这个关系在多个数量级上都成立。

2022 年，Hoffmann et al.（Chinchilla 论文）进一步修正了这个关系，证明 参数量和训练数据量应该同步扩展。具体来说，对于计算预算 $C$，最优的参数量 $N$ 和数据量 $D$ 满足：

$N_{opt} \propto C^{0.5}, \quad D_{opt} \propto C^{0.5}$

这意味着之前的很多模型（包括 GPT-3）都是”参数过多，数据不足”的。Chinchilla 只有 70B 参数，但用了 1.4T tokens 训练，在多个 benchmark 上超越了 4 倍大的 Gopher（280B）。

实战启示：Scaling Laws 不是学术游戏。它直接指导着工业界的资源分配决策——给定算力预算，应该训多大的模型、用多少数据、训练多少步。后面第五章我们会深入讨论。

对齐革命：从 InstructGPT 到 ChatGPT

2022 年 3 月，OpenAI 发布 InstructGPT 论文，首次系统地展示了 RLHF（Reinforcement Learning from Human Feedback） 的威力：通过人类偏好标注训练奖励模型，再用 PPO 算法优化语言模型，使模型输出更符合人类意图。

InstructGPT 的核心贡献不在于模型更大或更强，而在于范式转变：

1. SFT（Supervised Fine-Tuning）：用高质量的指令-回复对做监督微调
2. RM（Reward Modeling）：训练奖励模型来预测人类偏好
3. RLHF：用奖励模型的信号通过 PPO 优化策略模型

2022 年 11 月，ChatGPT 横空出世，把这套技术推向了大众。它不是技术突破，而是工程和产品层面的集大成者——证明了经过对齐训练的 LLM 可以作为通用的对话助手，为所有人所用。

当前格局（2024-2026）

如今，LLM 领域呈现几个关键趋势：

1. 模型能力持续提升，但增长曲线在变

• GPT-4 (2023) → GPT-4o (2024) → GPT-5/o3/o4-mini (2025-2026) → GPT-5 Preview/GPT-5.5 Instant/GPT-5.6 iris-alpha 内测 (2026.06) → GPT-5.6 Sol/Luna/Terra (2026.07, 6 变体并行发布, 全系 1.1M 上下文/推理/视觉)：OpenAI 发布策略从”单一大版本”转向”多尺寸并行发布”
• Claude 4 Opus/Sonnet (2025.05) → Claude 5/Fable 5/Mythos 5 (2026.06) → Claude Opus 5 (2026.07.24, 1M 上下文, Arena 前 3)：三层模型线——Mythos 5 为最强模型（受限访问），Fable 5 为公开版（安全分类器路由至 Opus 4.8），Opus 5 补齐通用能力旗舰；SWE-bench Pro 首破 80%
• Gemini 1.5 → Gemini 2.5 Pro + AlphaEvolve (2025) → Gemini 3.5 Flash/Omni/Spark (2026.05) → Gemini 3.6 Flash (2026.07.21, 价格降低, 知识截止日跳至 2026-03)：Antigravity 平台日处理 3 万亿 token，Omni 世界模型原生视频生成，Spark 常驻 Agent 数字分身
• DeepSeek V2 → V3 → V3.2 → V4 + R1-0528 工具调用：中国团队在 MoE 架构、MLA 和训练效率上持续突破，推理成本仅 GPT-5 的 1/30
• Kimi K3（Moonshot AI, 2026.07.16）：2.8T 参数，首个 3 万亿级开源模型，MIT 许可证，Arena Code 榜首
• Grok 4.5（xAI, 2026.07.08）：编程特化，500K 上下文，$2/$6 定价

值得注意的是，2026 年 7 月已成为”1M 上下文标配化”的转折月：GPT-5.6（1.1M）、Claude Opus 5（1M）、Kimi K3（1M）、Gemini 3.6 Flash（1M）、Qwen 3.7 Plus/Max（1M）均标配百万级上下文窗口。仅一个月前 GPT-5 的 1M 还是差异化特性，如今已是准入门槛。

一个重要的范式转移是推理模型（reasoning model）的崛起：OpenAI o1/o3/o4、DeepSeek R1、Claude 4 thinking mode 等模型通过在推理时生成详细的思考过程（reasoning tokens），在数学、代码和复杂推理任务上取得了质的飞跃。值得注意的是，DeepSeek R1-0528 已支持原生 Function Calling，推理模型不再局限于”纯推理”模式，开始成为 Agent 系统的核心推理引擎。

另一个标志性事件是 2026 年 6 月第一周�� “AI 超级周”——OpenAI（GPT-5 Preview）、Anthropic（Fable 5/Mythos 5）、Google（Gemini 3.5 系列）、百度（文心 5.0）在 48 小时内先后发布新一代模型。这是继 2024 年 4 月”8 天 4 模型”后更密集的发布周期，反映 LLM 竞争已进入白热化阶段。

仅一个月后，2026 年 7 月以更大密度刷新纪录：OpenAI 单周 6 变体、Claude Opus 5、Kimi K3（首个 3 万亿级开源）、Grok 4.5、Gemini 3.6 Flash 在 3 周内接踵而至。“密集发布”正从事件变为常态，季节性的发布节奏已完全瓦解。与此同时，四个主要实验室模型（GPT-5.6 / Claude Opus 5 / Grok 4.5 / Kimi K3）的性能差距比上一代显著缩小——训练数据标准化、开源研究加速、算力成本下降共同驱动这一收敛。这意味着模型选择更多、供应商锁定风险降低。

“收敛”的决策含义：不存在唯一的”最强模型”

把上面这句话再推一步会得到一个重要结论：当头部差距压缩到 1—2 分，且不同榜单给出不同排序时，“哪个模型最强”这个问题就没有唯一答案了。

排序不一致不是评测噪声，而是真实的专长差异。以 8 月的两个头部模型为例：Grok 4.6 在 GDPval-AA、CursorBench 上领先，而在 DeepSWE v1.1、Terminal-Bench v4.0 上落后于 GPT-5.6 Sol。这不是”谁更好”的问题，而是它们在不同类型任务上的相对优势不同——一个偏终端与工具操作，一个偏代码库级工程。

因此”收敛”带来的实际变化是：选型从”选一家供应商”变成”按任务配模型”。在成本敏感的企业场景中，把不同档位、不同专长的模型按任务路由，已经成为主流做法——这与趋势 8 的成本结构是同一件事的两面：正因为你无法用单一模型同时兼顾能力与成本，路由才成为必需品。

需要提醒的是，这一条对评测本身提出了要求：既然不存在全局最优，那么选型只能基于你自己任务集上的实测。依赖公开的通用榜单做选型决策，在头部差距已压缩到 1—2 分的今天，几乎等同于随机选择。

2026 年 8 月：开放权重首次进入头部集团

7 月写下”性能收敛”这个判断时，收敛还只发生在闭源阵营内部。8 月的榜单数据把这个结论推进了一步——开放权重模型第一次站到了头部集团里：

模型	智能指数	权重	备注
Claude Opus 5	63	闭源
Claude Fable 5	62	闭源
GPT-5.6 Sol	61	闭源
Grok 4.6	61	闭源	2026-08-12 发布
GLM-5.3	60	开放权重	81 tok/s，速度为头部最快
Kimi K3	60	开放权重	2.8T 参数
GLM-5.3-Flash	58	开放权重
Qwen3.8 2.4T A95B / Qwen3.8 Max	58	开放权重	Max 于 2026-08-03 GA
Muse Spark 1.2	57	闭源	2026-08-05 发布

前四名之间只差 2 分，而开放权重的 GLM-5.3 与 Kimi K3 距榜首仅 3 分。这个差距已经小到在多数实际任务上无法被使用者感知——换言之，“用开源就必然要接受明显能力损失”这个延续了两年的前提，在 2026 年 8 月不再成立。

⚠️ 上面这段的读法需要更正（2026-09-24 复核）。 该表是 Intelligence Index v4.2 时代（2026-08-27）的快照。该指数在 2026-09 已升到 v4.3——官方榜单页的更新说明写的是「AutomationBench-AA 加入指数、𝜏³-Banking 被移除、Terminal-Bench 升到 4.0」。升版后分值整体下移（旧榜 63 分档 ≈ 新榜 53 分档），新旧分值不可直接比较。

按 2026-09-24 读取的 v4.3 榜单，头部已经换过一代，且开放权重的领跑者也换了：

模型	v4.3 智能指数	权重
Claude Opus 5.5（max with fallback）	57.6	闭源
Claude Opus 5.5（xhigh with fallback）	56.0	闭源
Claude Fable 5.1（max with fallback）	53.4	闭源
GPT-6 Astra（max）	52.7	闭源
MiMo-V2.6-Pro	46.3	开放权重
GLM-5.3（max）	44.8	开放权重
Kimi K3（max）	43.6	开放权重

⚠️ 「开放权重距榜首仅 3 分」这个论断必须降级。 在 v4.3 下，最好的开放权重模型（MiMo-V2.6-Pro 46.3）与榜首（57.6）相差 11.3 分；GLM-5.3 差 12.8 分，Kimi K3 差 14.0 分。同一批模型在 v4.2 下的读数只有 3 分——差值本身对评测口径高度敏感，从 3 分到 11 分只隔了一次方法论修订。

这里真正的教训不是”开放权重退步了”，而是论证方式太脆。用单一综合榜单的分差去论证”能力差距消失”，等于把结论押在该榜单的评测集构成上。真正稳健、且不随口径改变的那半句是：开放权重已经在头部集团内占据稳定席位——v4.2 与 v4.3 下这一点都成立。需要削弱的是”差距小到无法被感知”这半句，它经不起一次升版。

第三次修订（v4.3.2，官方页重抓于 2026-10-13）。 本章已经记录了 v4.2 → v4.3，现在官方榜单页显示的是 v4.3.2，成分为 10 项评测：AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity’s Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。六周内三次修订，这本身就是上面那句”差值对评测口径高度敏感”的又一次独立实证。

按官方页数据重排（v4.3.2，2026-10-13 读取）：

模型	v4.3.2 智能指数	权重
Claude Opus 5.5（max with fallback）	57.62	闭源
Claude Sonnet 5.5	56.00	闭源
Muse Wonder Full	55.80	闭源
Claude Fable 5.1	53.35	闭源
GPT-6 Astra	52.67	闭源
Gemini 4 Argon	52.56	闭源
GPT-6.1 Sol	51.83	闭源
Cogito v2.1（Reasoning）	51.24	开放权重
MiMo-V2.6-Pro	46.32	开放权重
Qwen3.8 Max（0902）	45.42	闭源
GLM-5.3	44.78	开放权重
Kimi K3	43.59	开放权重

⚠️ 一处提案纠错（值得记，因为它正是本章论点的又一次自我印证）。 本轮收到的改进提案称”v4.3.2 榜首已换成 GPT-5.6 Sol（58.9）“。回官方页一手核对后该说法不成立：官方数据中 GPT-5.6 Sol 的条目标记为 deprecated: true（发布日期 2026-07-09），且当前榜单上不存在 58.9 这一读数，榜首仍是 Claude Opus 5.5 的 57.62。提案其余数值（Sonnet 5.5 56.0 / Fable 5.1 53.4 / Astra 52.7 / MiMo 46.3 / GLM-5.3 44.8 / Kimi K3 43.6）与官方页逐条吻合，唯独”榜首换人”这一条对不上。

这条纠错本身就是本章的论点：榜单快照类事实的方向比数值更容易错。聚合站会把已下架（deprecated）的模型继续排进表里，转述一层之后，“谁在第一”就被换掉了。凡引用该类数据，应回到发布方页面，并顺手看一眼该条目是否还在架。

更新后的二分判断（经三次独立观测）。 本次升版后，最好的开放权重（Cogito v2.1（Reasoning）51.24）与榜首（57.62）相差 6.38 分；若按此前被当作”最好的开放权重”的 MiMo-V2.6-Pro（46.32）计，差值仍是 11.3 分。两次口径都摆在这里，是因为它们支持不同的结论强度：

• “开放权重在头部集团内有稳定席位”——继续成立，且现在是经过 v4.2 / v4.3 / v4.3.2 三次独立观测的结论，不再是一次快照；
• “差距小到无法被感知”——方向仍不成立，但强度要按口径分开说：按 MiMo-V2.6-Pro 是 11 分档，按 Cogito v2.1 只有 6 分档。开放权重内部的档位差（51.24 → 43.59，跨度 7.65 分）已经大于它与榜首的部分差距，因此更准确的表述是”开放权重已经分化出自己的头部，而不是整体逼近闭源榜首”。

⚠️ 终审提醒（2026-10-13）：本节的数值错漏不是抄错，而是漏行——漏掉的是榜单里排在中间、既不进”前十”也不属于被讨论的厂商的那一档模型。抄榜单时的自检动作应是”按 isOpenWeights 过滤后重排一遍”，而不是从总榜里挑认识的几个名字。

一条可执行的读法（比再更新一次数字更有长期价值——下一轮还得再更新）：任何引用该指数的文字，必须同时写明「版本号 + 快照日期 + effort 档位」，三者缺一即不可比。

第三维：effort 档位。 前面两条限定是”版本会升”（v4.2→v4.3→v4.3.2）与”榜单排序不一致”，还有第三条章内此前完全没写：同一个模型的不同 effort 变体，分差可以大于不同模型之间的差距。

AA 对每个模型发布多个 effort 变体，官方页上的形态是 GPT-6 Sol (Max) / (Xhigh) / (High) / (Medium) / (Low)、GPT-6 Astra (Low) / (Medium)、GPT-6.1 Sol (Low) / (Medium) / (High) 等，并明确提供”All reasoning and effort variants of each selected release”的对比视图。已回源确认的一条读数：Claude Opus 5.5 在 (max with fallback) 档为 57.62（本章 v4.3 表里那两个”57.6 / 56.0”其实已经是 Max 与 Xhigh 两档，只是当时没有点破）。

这个维度要紧，是因为它比本章用来论证”收敛”的”头部差 1–2 分”还大。含义有两层：

1. 读榜单时，档位缺失比版本缺失更常见也更致命——绝大多数转述只写模型名，不写档位；
2. “收敛”这个判断只在同档位比较下才成立。不控制档位，你看到的 1–2 分差距可能完全来自档位选择，而不是模型能力。

因此”选型只能基于你自己任务集上的实测”这句要再补半句：而实测时也必须固定 effort 档位，否则测的是「档位 × 模型」的交互项，不是模型本身。

⚠️ 待验证：本轮未能从官方页核出同一模型各档的完整读数（仅确认 Opus 5.5 的 max with fallback = 57.62）；提案给出的 Opus 5.5 三档为 Max 57.62 / Xhigh 55.99 / High 53.58，其中后两个数值在官方页上未检到，暂不写入正文。

9 月的代际更替已经发生：Claude Opus 5.5 接过了榜首（Claude Opus 5 在榜单上已标记为 deprecated），Claude Fable 5.1 与 GPT-6 Astra 进入头部。本节的价值不在罗列模型，而在给读者一个”截至什么时候”的坐标——这里的坐标是 2026 年 9 月，读的时候请按自己手上的日期重新核对一次。

8 月的新增发布还包括：Grok 4.6（8/12，$2/$6 每百万输入输出，500K 上下文，Terminal-Bench v2.1（当时版本）88.4%、GDPval-AA Elo 1753）、Meta 的 Muse Spark 1.2 与其首个终端编码 Agent Muse Code（8/5，价格维持 $1.25/$4.25）、DeepSeek V4 Pro（8/13 上线）。7 月底至 8 月中旬中国厂商集中开源与上线，一时成为该轮供给增量的主要来源。

2. 混合架构进入工业部署

混合架构（Mamba + Transformer + MoE）从学术探索进入工业部署，腾讯混元 TurboS 为首个大规模部署的 Mamba 架构（560B/56B，Arena 前 7），NVIDIA Nemotron 3 Ultra（550B/55B，开源旗舰）、AI21 Jamba 1.5 等跟进。更值得注意的是三团队架构收敛现象：NVIDIA（Nemotron 3）、腾讯（Hunyuan-TurboS）、阿里（Qwen 3.5 Small）不约而同采用约 75% SSM + 25% Attention + MoE 的混合比例，说明这是工程最优解而非单一团队偏好。

3. 开源生态繁荣

• LLaMA 系列推动了开源 LLM 生态，Llama 4 引入 MoE 架构和 10M 上下文

• Mistral、Qwen 3、DeepSeek V3 等模型在多个规模段达到或接近闭源 SOTA

• Kimi K3（2026.07, 2.8T 参数, MIT 修改许可）：首个 3 万亿级开源模型，将开源参数上限从千亿级推至万亿级，Arena Code 榜首（1,679 分 vs Claude Fable 5 1,631 分）

  口径提醒：同按 v4.3.2（2026-10-13 官方页），Kimi K3 的综合智能指数为 43.59，在开放权重里排第四，次于 Cogito v2.1（51.24）、MiMo-V2.6-Pro（46.32）、GLM-5.3（44.78）。“Arena Code 榜首”与”综合指数第四”应当并列写——只写前者会让读者读出”Kimi K3 是最强开源模型”，而这与趋势 1 已经建立的”不存在唯一最强模型”是同一条论证，两处应交叉引用。

• 开源数据集（FineWeb、DCLM）和工具链日趋成熟

• 开源推理框架（vLLM、SGLang）性能逼近商业方案

4. 后训练技术多样化

• 从 RLHF → DPO → GRPO，对齐算法不断简化
• 基于可验证奖励的强化学习（RL with Verifiable Rewards） 成为推理模型训练的核心范式——DeepSeek R1 证明 RL 可以在数学和代码等有客观答案的领域直接提升推理能力
• 合成数据在 SFT 和对齐中扮演越来越重要的角色
• 中训练（mid-training）作为新阶段被广泛采用，且被证明是 RL 成功的关键前置条件（PRISM）

5. 推理时计算成为新前沿（Test-Time Compute Scaling）

Scaling Laws 正从”训练时堆算力”走向”推理时堆算力”：

• Chain-of-Thought 推理、Self-Consistency、Tree-of-Thought 等方法
• 推理模型的 scaling law：生成更多的 reasoning tokens → 更高的准确率，且这种提升是可预测的（Train-to-Test scaling laws）
• 推测解码（Speculative Decoding） 大幅提升推理速度，已成为生产标配
• 一个反直觉的发现：过度训练的小模型 + 推理时多采样，可能优于刚好训练的大模型（T2 Scaling Laws，2026）

6. Agent 与工具使用

• LLM 作为”大脑”驱动 Agent 系统，从单步问答走向多步规划和执行
• MCP (Model Context Protocol) 等标准化协议推动 Agent 生态
• Computer Use（操作计算机）和 Coding Agent（编程助手）成为 LLM 的杀手级应用
• 多 Agent 协作框架日趋成熟
• 推理模型开始获得原生工具调用能力：DeepSeek R1-0528 支持 Function Calling（Tau-Bench 与 o1-high 相当），推理模型不再是”只能推理”的单一模式，开始成为 Agent 系统的核心推理引擎
• Agent 能力成为模型核心卖点：Gemini Spark 常驻 Agent 数字分身、OpenAI Codex 全面开放自主编码、Fable 5 支持超长自主运行时间——Agent 不再是附加功能，而是模型能力定义的一部分

7. 原生多模态（Native Multimodal）

• 从”视觉编码器 + LLM”的拼接方案，走向原生多模态的统一架构
• GPT-4o、Gemini、Emu3 等模型实现了理解与生成的统一——一个模型同时做文本理解、图像生成、语音对话
• 视频理解和 3D 理解成为新赛道

8. 成本成为第二条竞争主轴

前面七条趋势讲的都是”能力”。但 2026 年真正改变选型方式的，是能力之外出现了第二条可比曲线——单位智能的成本。

先看一组价格事实：2026 年 8 月 6—8 日，企业侧 LLM 推理均价降至每百万 tokens 约 1.16—1.18 美元，为当年最低，较 5 月 31 日的 2.04 美元下降约 43%，较 7 月底的 1.45 美元再降约 20%。Jefferies 将原因归结为全球价格战与低成本开放权重模型的快速渗透；同时量化、蒸馏与硬件感知优化降低了单位计算成本，使厂商在降价的同时仍能维持毛利。

市场已经分化为清晰的三档定价结构：

档位	每百万输入 tokens	代表
开放权重（托管在专业推理平台）	$0.04 –$0.30	Llama、Qwen、DeepSeek
中端	$0.20 –$1.50（2026-10 已下探至 $0.10 级）	各家中尺寸模型
前沿闭源	输入 $5 –$10 / 输出 $25 –$50（2026-10 已站到 $10/$50 上沿）	OpenAI、Anthropic、Google 旗舰

⚠️ 上面这张表和前一段的价格叙事都是单向的，需要补上另一半。 前文写的是”均价从 5 月的 $2.04 降到 8 月的$1.16–1.18，降约 43%“，读者会自然读出”价格在持续下降”。这个读法只对了一半：

前沿 token 价格相对 2023-03（GPT-4 发布）基准确实累计降了约 84%，但最近 12 个月在前沿档是上升而非下降。 2026-10 的前沿档已经站到本表上沿——gpt-6-astra 与 Claude Fable 5.1 均为 $10 /$50（输入 / 输出，每百万 token）。

判据可以写成一句话：固定能力档每一代都在变便宜，而最新能力档保持或抬高价格。 Anthropic 自家的路径最直观：Opus 4.1 的 $15/$75 → Opus 4.5~5 代的 $5/$25 → Opus 5.5 的 $4/$20（同一条旗舰线下探），与此同时最新档定在 $10/$50。“成本战”与”能力溢价”是同时发生的两件事，不是一件事的两个阶段。

因此配比建议（70–80% 落在 $1–2 档、20–30% 落在 $5–12 档）的结构仍然成立，但那 20–30% 的单位成本在抬升，做年度预算时不能按”逐年下降”外推。

⚠️ 待验证：以上价格为本轮 2026-10 读取的厂商/聚合站口径，聚合站的”中位数”与”价格指数”为其自有口径（截至 2026-10-12，185 个被跟踪模型的中位数为 $0.95/1M 输入、$3.75/1M 输出；开放权重模型中位混合价比闭源低约 79%）。这些数字应标”2026-10 快照”而非当作当前报价。

同一智能档位上的价格差可以达到一个数量级。更直观的对照：完成同一个约 2000 tokens 的任务，成本从 GLM-5.3-Flash 的 0.04 欧分到 Claude Fable 5 的 3.43 欧分——相差约 85 倍，而两者的能力差距远不到 85 倍。

这直接改变了选型问题的提法。2026 年的问题不再是”哪个模型最强”，而是“在给定任务上，用多低的成本拿到够用的智能”。一份可落地的经验配比是：企业约 70—80% 的请求落在 $1—2 档，20—30% 落在 $5—12 档——即把绝大多数常规流量交给便宜模型，只在真正需要顶尖能力的少数请求上调用旗舰。

这条趋势是理解后续第四部分（推理优化、部署选型）的经济背景：多模型路由之所以成为默认部署形态，不是因为它技术优雅，而是因为成本分布本身就是这样一个长尾结构。

⚠️ 价格信息的时效性：本节所有价格均为 2026-08 快照（2026-10 补注见上文）。推理价格是 LLM 领域变动最快的变量之一，几个月内的变化幅度可能超过前面提到的 43%。请把这些数字当作”结构示例”（存在三档、档间差一个数量级）而非”当前报价”来读。

复核时除了报价，还要复核”到期日”。（2026-10 补）一个促销价被写进成本模型，到期时会直接变成预算事故。例如 Google 已明示 Gemini 3.8 Flash 的促销价（$0.75/$3.75）将于 2027-01-01 翻倍。凡在成本模型里用了促销价，都要在模型旁边记一行到期日——这是”价格变动极快”这条警告里最容易被漏掉、也最容易造成实际损失的一半。

另一条会改变经济账的工程变量：缓存输入价。 缓存命中时的输入价（OpenAI $0.10/1M、Anthropic$0.20/1M 量级）比标准输入价低约一个数量级。当缓存复用足够便宜时，压缩上下文的理由就从成本转向质量——不再需要为了省钱而激进裁剪，裁剪与否应该由”会不会掉质量”决定。这条属工程判断，非实测对照，引用时按判断而非数据读。

核心概念速览

在深入后续章节之前，我们先建立一些关键概念的直觉。

语言模型的本质

语言模型的核心任务是预测下一个 token：

$P(x_t | x_1, x_2, \ldots, x_{t-1})$

整个序列的概率可以分解为：

$P(x_1, x_2, \ldots, x_T) = \prod_{t=1}^{T} P(x_t | x_{1:t-1})$

这看起来简单得令人难以置信——就是”猜下一个词”。但正是这个简单的目标，在足够大的数据和模型上训练后，产生了惊人的能力。

Token 与 Tokenization

LLM 不直接处理文字，而是处理 token——文本的基本单元。Tokenizer 负责将文本切分为 token 序列。现代 LLM 普遍使用 BPE（Byte Pair Encoding） 及其变体：

• GPT 系列使用 tiktoken（BPE 变体）
• LLaMA 使用 SentencePiece（Unigram/BPE）
• 中文场景下，一个汉字通常被编码为 1-3 个 token

Tokenizer 的设计直接影响模型的效率和多语言能力，我们在第三章详细讨论。

训练流程的三个阶段

现代 LLM 的训练通常分为三个（或四个）阶段：

预训练 (Pre-training)
  ↓ 万亿 tokens，基础能力
中训练 (Mid-training)  [可选但越来越常见]
  ↓ 数百亿 tokens，领域增强
监督微调 (SFT)
  ↓ 数万-数十万条，指令遵循
对齐训练 (RLHF/DPO)
  ↓ 数千-数万条偏好数据
最终模型

每个阶段的数据质量和配比都极其关键，这将是本书用大量篇幅讨论的主题。

模型架构的核心

几乎所有现代 LLM 都基于 Transformer 架构，具体来说是 Decoder-only 变体。核心组件包括：

• Multi-Head Self-Attention (MHA)：捕捉 token 间的关系
• Feed-Forward Network (FFN)：非线性变换和知识存储
• 位置编码 (Positional Encoding)：注入序列位置信息

近年的重要架构创新包括：

技术	作用	代表模型
GQA/MQA	减少 KV Cache，加速推理	LLaMA 2, Gemini
MLA	低秩压缩 KV Cache，KV Cache 大幅缩小	DeepSeek V2/V3/V4
NSA	原生可训练稀疏注意力，长序列效率	DeepSeek V3.2
RoPE/iRoPE	旋转位置编码，支持长度外推至 10M	LLaMA 4, Qwen
MoE	稀疏激活，扩大参数量不增加推理成本	Mixtral, DeepSeek, Llama 4
MTP	多 Token 预测，提升训练效率	DeepSeek V3
Mamba/SSM 混合	线性复杂度长序列+Attention 上下文理解，O(n)序列处理	Hunyuan-TurboS, Nemotron-H, Jamba 1.5
SwiGLU	替代 ReLU 的激活函数	LLaMA, PaLM

本书结构

本书分为五个部分：

第一部分：基础篇（第 1-4 章）

建立必要的基础知识：本章的全景概述、Transformer 架构详解、Tokenizer 设计、以及预训练数据工程。

第二部分：预训练（第 5-8 章）

深入预训练的方方面面：Scaling Laws 的理论与实践、预训练配方设计、中训练（Mid-training）技术、以及分布式训练工程。

第三部分：后训练与对齐（第 9-11 章）

从 SFT 到 RLHF 到 DPO/GRPO，系统讲解如何让模型”对齐”人类意图，包括数据构造、训练技巧和评估方法。

第四部分：推理与部署（第 12-14 章）

覆盖推理优化（量化、蒸馏、推测解码）、服务化部署（vLLM、TensorRT-LLM）、以及评估体系设计。

第五部分：前沿与展望（第 15-16 章）

多模态 LLM、Agent 系统、长上下文处理等前沿方向，以及对未来的展望。

---

下一章预告：第二章我们将深入 Transformer 架构的每一个细节——从 Attention 的数学推导到现代架构变体（GQA、MoE、MLA），配合代码和可视化帮助你建立扎实的直觉。