深度学习核心范式演进与轻量化模型架构设计.docxVIP

深度学习核心范式演进与轻量化模型架构设计

目录

内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1深度学习的发展背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2轻量化模型的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3研究目的与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

深度学习核心范式演进概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1早期神经网络模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2卷积神经网络(CNN)的兴起．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3循环神经网络(RNN)和长短期记忆网络(LSTM)．．．．．．．．．．．．．．．14

2.4注意力机制的引入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

轻量化模型架构设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1模型复杂度与性能权衡．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2计算效率与资源消耗．．