持续更新中

大模型全书

从架构设计到数据工程，从预训练到对齐，从推理优化到 Agent 系统——一本书带你成为大模型领域专家。基于一线实战经验，持续追踪前沿进展。

共 16 章 最后更新：2026年10月16日
开始阅读

面向有基础的读者

假设你已具备机器学习基础知识，包括神经网络、反向传播和 Transformer 基本概念

一线实战视角

不只讲论文，更分享工业界真实的技术选型、踩坑经验和最佳实践

持续更新

LLM 领域发展极快，本书定期吸收最新研究成果和工业实践，不会过时

目录

第一部分：基础篇

1

走进大语言模型

从 GPT 到 DeepSeek——大模型的发展脉络、核心概念与技术全景图

LLM概述发展史
2

Transformer 架构详解

从 Self-Attention 的数学推导到 GQA、MoE、MLA、NSA 等现代架构变体

TransformerAttentionMoE
3

Tokenizer 设计哲学

BPE、Unigram、WordPiece 的原理与取舍，多语言 Tokenizer 的设计艺术

TokenizerBPESentencePiece
4

预训练数据工程

从数据采集到清洗、去重、质量过滤——构建万亿 token 级数据管线的完整指南

数据预训练数据清洗

第二部分：预训练

5

Scaling Laws：大模型的第一性原理

从 Kaplan 到 Chinchilla 到 MoE Scaling——理解并应用 Scaling Laws 指导训练决策

Scaling LawsChinchilla计算预算
6

预训练配方

学习率、Batch Size、数据配比、训练稳定性——工业级预训练的完整配方

预训练学习率训练稳定性
7

中训练（Mid-training）

预训练之后、后训练之前——中训练如何增强模型的领域能力和长上下文处理

中训练Mid-training长上下文
8

分布式训练工程

数据并行、模型并行、流水线并行——在数千张 GPU 上训练大模型的工程实践

分布式训练数据并行模型并行

第三部分：后训练与对齐

9

监督微调（SFT）

从数据构造到训练策略——把预训练模型调教成有用的助手

SFT微调指令跟随
10

RLHF 与偏好对齐

从 RLHF 到 DPO 到 GRPO——让模型学会'什么该说什么不该说'

RLHFDPOGRPO
11

评估与 Benchmark

如何科学地衡量 LLM 能力——从自动 Benchmark 到人类评估到 Arena

评估BenchmarkMMLU

第四部分：推理与部署

12

推理优化

从 KV Cache 到推测解码——让大模型跑得又快又省

推理优化KV Cache推测解码
13

量化与模型压缩

INT8、INT4、FP8——在精度与效率之间寻找最优平衡

量化INT8INT4
14

服务部署与系统架构

从单机到万卡集群——构建高可用、低延迟的 LLM 推理服务

部署服务架构负载均衡

第五部分：前沿与展望

15

多模态大模型

从文本到视觉到语音——理解和生成多种模态的统一架构

多模态Vision-Language视觉编码器
16

Agent、工具使用与未来展望

从 Chat 到 Agent——LLM 如何从对话工具走向自主行动者

Agent工具使用RAG