基础语言模型的技术解构与典型实践探索.docxVIP

基础语言模型的技术解构与典型实践探索

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

基础语言模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1语言模型的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2语言模型的分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3语言模型的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

技术解构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1.1递归神经网络．．．．．．．．．．．．．．．．．．．．．．