面向中文语境的预训练语言模型架构优化研究.docxVIP

面向中文语境的预训练语言模型架构优化研究

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

面向中文语境的预训练语言模型概述．．．．．．．．．．．．．．．．．．．．．．．．9

2.1预训练语言模型基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2预训练语言模型在中文领域的应用．．．．．．．．．．．．．．．．．．．．．．．．10

2.3存在的问题与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

预训练语言模型架构优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1模型结构优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2数据增强与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.3训练策略优