深度神经网络架构优化与训练策略综述.docxVIP

深度神经网络架构优化与训练策略综述

目录

深度神经网络架构优化概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1深度神经网络的发展背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2架构优化的必要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3架构优化方法分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

神经网络架构优化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.1网络结构搜索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2模型压缩与加速．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

2.3特征提取与融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

训练策略研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.1数据增强技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.1.1随机变换方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

3.1.