深度学习核心算法演进及其模型架构优化分析.docxVIP

深度学习核心算法演进及其模型架构优化分析

目录

深度学习算法演进概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1深度学习发展历程回顾．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2算法演进的关键节点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

深度学习核心算法分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1集成学习算法进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2人工神经网络算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3递归神经网络及其变种．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

模型架构优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1模型简化与压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1.1模型剪枝技术的研究与应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1.2知识蒸馏在模型压缩中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.2模型并行与分布式训练．．．．．