自然语言处理预训练模型架构演进脉络与技术图谱.docxVIP

自然语言处理预训练模型架构演进脉络与技术图谱

目录

一、NLP预训练框架综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1NLP预训练框架的背景与发展概览．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2领域基础知识与术语解释．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、从传统序列建模到自注意力机制的过渡．．．．．．．．．．．．．．．．．．．．．6

2.1RNN与LSTM基础架构赏析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2Transformer架构的首创之路．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、当代架构迭代与融合路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.1端到端学习与大规模预训练推进．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.1.1超大预训练模型的规模扩展．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1.2结构创新设计与性能优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2模型多样性的涌现研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2.1动态架构与可扩展框架．．．．．．．．．．．．．