预训练语言模型技术演进与产业实践研究.docxVIP

预训练语言模型技术演进与产业实践研究

目录

一、文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、预训练语言模型的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1早期模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2深度学习时代．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3迁移学习时代．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.4多模态预训练．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

三、预训练语言模型的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2预训练目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.4训练策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．