预训练语言模型技术演进趋势与理论框架.docxVIP

预训练语言模型技术演进趋势与理论框架

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

预训练语言模型技术演进历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1早期预训练模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2基于深度学习的预训练模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3多模态预训练模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

预训练语言模型的理论框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

3.1预训练模型的基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

3.2预训练模型的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.2.1词嵌入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2.2上下文感知技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2.3自监督学习技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.3预训练模型的优