《神经网络压缩与加速现状文献综述》3000字.docx

神经网络压缩与加速现状文献综述

当前，针对深度神经网络的压缩与加速，其主要方法有网络剪枝、网络量化、低秩分解、紧凑卷积核和知识蒸馏。以下分别对这五种方法研究现状进行介绍。

（1）网络剪枝

网络剪枝可以去除深度网络模型中冗余的、不重要的参数来减少模型参数量。前期的剪枝方法，如基于非结构化的，精度理论上较高但需下层的硬件和计算库对其有比较好的支持。而结构化剪枝方法可以很好地解决上述问题，因此近年来的研究很多是集中在结构化上。

对于非结构化剪枝，早在20世纪九十年代LeCun等人[8]提出了最优化脑损失策略，该方法基于二阶导数来判定参数是否裁剪，可以达到更高的准确度同时又降低网络复杂度，确保精度损