第1章 绪论1
1.1 大语言模型的基本概念1
1.2 大语言模型的发展历程4
1.3 大语言模型的构建流程8
1.4 本书的内容安排10
第2章 大语言模型基础13
2.1 Transformer结构13
2.1.1 嵌入表示层14
2.1.2 注意力层15
2.1.3 前馈层18
2.1.4 残差连接与层归一化19
2.1.5 编码器和解码器结构20
2.2 生成式预训练语言模型GPT 25
2.2.1 自监督预训练25
2.2.2 有监督下游任务微调26
2.2.3 预训练语言模型实践27
2.3 大语言模型的结构32
2.3.1 LLaMA的模型结构33
2.3.2 注意力机制优化39
……