联合量化与剪枝的深度神经网络压缩方法研究.pdf

目录

摘要IV

ABSTRACTVI

第一章绪论1

1.1研究背景和意义1

1.2国内外研究现状2

1.3论文主要工作5

1.4论文组织结构6

第二章相关理论介绍8

2.1GPU体系结构8

2.1.1GPU硬件结构8

2.1.2GPU计算组织结构9

2.1.3GPU存储组织结构9

2.2深度神经网络剪枝10

2.2.1连接剪枝11

2.2.2通道剪枝12

2.2.3卷积核剪枝12

2.2.4网络层剪枝13

2.3深度神经网络量化13

2.3.1均匀量化14

2.3.2二次幂量化15

2.3.3二值量化16

2.3.4量化粒度16

第三章面向连接的剪枝加速方法研究18

3.1研究动机18

3.2在GPU上的稀疏卷积计算方法20

3.2.1卷积神经网络推理计算的全过程20

3.2.2ECR存储格式20

3.2.3加载和传输数据21

3.2.4针对卷积的稀疏矩阵向量乘22

3.2.5卷积神经网络向前计算的其他步骤23

3.3融合卷积和池化操作23

3.3.1卷积神经网络向前计算步骤24

3.3.2考虑到卷积和池化的稀疏存储格式24

3.3.3加载和传输数据25

3.3.4卷积和池化26

3.4实验26

3.4.1各种卷积层的加速比27

3.4.2对VGG、ResNet、DenseNet和RegNet的加速28

3.4.3对稀疏性的敏感性分析30

3.4.4对Batch大小的敏感性分析31

3.4.5对步长的敏感性分析31

3.4.6数据格式转换的比重32

3.5本章小结32

第四章联合神经网络结构搜索和混合量化的加速方法33

4.1研究动机33

4.1.1两阶段压缩框架的误差累计33

4.1.2静态剪枝后的单一结构35

4.1.3网络层的不均匀重要性36

4.1.4优化机会37

4.2动态神经网络结构搜索38

4.2.1对网络层剪枝结构的搜索38

4.2.2对通道的动态搜索39

4.2.3神经网络混合量化42

4.2.4基于TensorCore的推理加速43

4.3实验44

4.3.1对模型精度和计算量的分析45

4.3.2对每层网络剪枝比例的分析47

4.3.3混合量化对模型精度影响的分析47

4.3.4对TensorCore推理加速的分析48

4.4本章小结49

第五章总结与展望50

5.1本文工作总结50

5.2工作展望51

摘要