基于剪枝的卷积神经网络压缩方法研究.pdfVIP

摘要

摘要

基于剪枝的卷积神经网络压缩方法研究

卷积神经网络在图像和视觉识别、自然语言处理等应用领域中取得的成果

是巨大的，在解决更大规模、更复杂问题的同时，网络具有参数众多、计算复

杂度高等特点。因此，网络的运行时的存储成本和计算开销显著增加，这对设

备运行环境的要求也对应提高，需要大量的空间和计算设备。对于嵌入式系统

或边缘设备等资源受限设备来说，将网络模型应用于这些设备上会存在一定的

困难。另一方面，卷积神经网络中存在着过度参数化问题，即，参数存在冗余

性。据此，模型压缩被提出作为减少计算和存储开销的有效的解决方法，它的

研究使得卷积神经网络具有更广泛的适用性。网络剪枝是较受欢迎的压缩方法

之一，通过去除网络中的冗余元素，来降低存储成本和计算花销。论文的主要

工作为：

1.提出一种结合卷积核聚类和卷积核排序的混合剪枝方法

卷积神经网络模型的过参数化，意味着卷积核在特征提取方面存在重复

性。采取网络剪枝的方法对模型进行压缩，减少模型的存储和推理花销。根据

卷积核的特征值，首先使用聚类方法对各层卷积核进行聚类操作，完成了网络

模型初步的压缩，这一步操作可以有效的降低网络模型的冗余程度。考虑到某

些具有较大权重和的卷积核对模型的预测精度影响较大，不能被删掉。针对这

一问题，接下来，通过对卷积核绝对权重和排序，进行下一步筛选操作，使得

混合剪枝方法的预测精度损失得到控制。实验结果表明，在CIFAR-10上，该

方法将VGG-16和ResNet-32的推理成本分别降低了44%和50%，精度仅损失

不到0.7%。

2.一种基于解释方法LRP的剪枝方法

卷积神经网络中的参数存在着冗余性，可以采用网络剪枝的方法降低网络

的复杂性，减少参数的冗余。首先采用聚类方法对各卷积层中的卷积核进行聚

类操作，认为一个类中所有卷积核提取特征是相似的。在迁移学习的场景中，

用户对模型的部分输出可能不感兴趣，那么存在某些特征的提取对于结果的推

I

摘要

理是无效的。针对这一问题，接下来，我们提出通过可解释性方法来衡量卷积

核对最终结果的重要性，修剪可解释意义上的相关性评分较小的卷积核类，达

到减少网络中的冗余参数的目的。通过将可解释性和模型压缩联系起来，对网

络进行剪枝，实验结果表明所提方法在VGG-16网络模型上的参数减少了

64.7%，推理成本降低了54.3%，精度仅损失不到3%。

关键词：

深度神经网络，卷积神经网络，网络剪枝，模型压缩，卷积核剪枝

II

Abstract

Abstract

ResearchonCompressConvolutionalNeuralNetworksbyNetwork

Pruning

CompressConvolutionalneuralnetworksmakesignificantsuccessinvarious

applicationsfields,suchasimageprocessingandnaturallanguageprocessing.While

dealingwithlarger-scaleandmorecomplexproblems,thenetworkhasthe

characteristicsofnumerousparametersandhighcomputationalcomplexity