大语言模型的架构演进与泛化能力提升路径.docxVIP

大语言模型的架构演进与泛化能力提升路径

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2相关概念界定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

大语言模型的基本架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1模型核心组成分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2现有架构的类型划分．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3典型案例分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

架构的迭代升级路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1基础模型的拓展策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2新型结构的创新设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.3性能评估维度重构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20