Transformer架构演化与预训练语言模型在自然语言处理中的应用进展.docxVIP

Transformer架构演化与预训练语言模型在自然语言处理中的应用进展

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

Transformer架构的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1早期版本与基础架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2关键改进与创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3当前主流实现及其优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

预训练语言模型的演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1从简单到复杂．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2不同预训练任务对模型的影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.3预训练技术的最新进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

Transformer架构在NLP中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1文本分类与信息检索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．