预训练语言模型的核心架构与演进趋势综述.docxVIP

预训练语言模型的核心架构与演进趋势综述

目录

预训练语言模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1语言模型的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2预训练语言模型的起源与发展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3预训练语言模型在自然语言处理中的应用．．．．．．．．．．．．．．．．．．．4

预训练语言模型的核心架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1基本架构解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2计算机视觉与NLP融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

预训练语言模型的演进趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1模型复杂度提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1.1模型参数量增加．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1.2神经网络层数增加．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2多模态预训练模型．．．．．．．．．．．