自然语言处理技术演进与预训练模型研究.docxVIP

自然语言处理技术演进与预训练模型研究

目录

自然语言处理技术发展概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1自然语言处理技术演进历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2自然语言处理技术发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

预训练模型的理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1预训练模型的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2预训练模型在自然语言处理中的应用．．．．．．．．．．．．．．．．．．．．．．10

预训练模型关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1词嵌入技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2任务适应技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.3多任务学习技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

常见预训练模型介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1词向量模型．．．．．．．．．．．．．．．．．．