大语言模型的结构原理与开发实践.docxVIP

大语言模型的结构原理与开发实践

目录

一、结构原理概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、模型构建基石．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1神经网络缀石．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2注意力聚集机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3生成端协同策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.4平行计算流水线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.5数学标识空间的拓扑变换控制．．．．．．．．．．．．．．．．．．．．．．．．．．．13

三、训练范式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1超大规模标注数据初始化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2噪声梯度压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3动态学习率自适应．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.4桥