基于Transformer的大规模语言模型原理探析.docxVIP

基于Transformer的大规模语言模型原理探析

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

Transformer模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1模型结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3位置编码与嵌入层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.4模型训练方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

大规模语言模型基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1语言模型简介．．．．．．．．．．．．．