预训练模型在自然语言处理中的应用进展.docxVIP

预训练模型在自然语言处理中的应用进展

目录

文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

预训练模型发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1早期NLP模型回顾．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2预训练模型兴起的原因．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3预训练模型的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

常见预训练模型介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1词嵌入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2上下文感知模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3多任务学习模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.4跨语言预训练模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

预训练模型在文本分类中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.1模型结构