基于特征表示差异的卷积神经网络模型剪枝技术研究.pdf

中文摘要

在计算机视觉领域进行图像分类时，深度神经网络表现出来的性能都是最优

的，但其在计算和储存方面的成本却是令人望而却步的。在许多实际任务中都希

望找到一个在保持模型准确率的同时降低成本的方法。深度神经网络模型的剪枝

技术正是这样一种技术。

本文从深度神经网络模型特征表示的角度出发针对图像分类任务提出了一

种基于特征表示差异的深度神经网络模型的剪枝方法。对深度神经网络模型进行

剪枝，主要包含三个关键点：剪枝元素、剪枝准则和剪枝算法，其中剪枝准则的

选择是核心技术。本文从深度神经网络模型极易受到对抗攻击的共识出发，认为

深度神经网络模型的准确率出现显著下降的原因在于，对抗攻击前后的干净图像

和对抗样本的特征表示出现了显著差异。基于此，本文将干净图像和对抗样本的

特征表示的差异大小作为衡量特征重要性的准则，对深度神经网络的通道进行剪

枝。若添加对抗扰动后某个通道的特征表示出现了显著差异，则说明是由该通道

的特征表示差异造成了模型准确率的急剧下降，该特征对模型准确率有重要影

响，为重要特征，在进行网络剪枝时应保留。相反则说明该通道的特征表示在攻

击前后没有出现显著差异，其对模型准确率下降的影响较小，为不重要特征，在

进行网络剪枝时应去掉。对剪枝算法，所提方法采用从后往前逐层剪枝的策略进

行，且对不同层使用了不同的剪枝率，在减少深度神经网络通道个数的同时保证

网络的预测性能下降不大，最后通过参数的微调得到最终的精简模型。

实验上使用AlexNet和VGG网络在ImageNet数据上进行，结果表明，所提

剪枝技术的整体通道剪枝率在87%-89%，模型的FLOPS下降了90%-98%，而模

型准确率仅下降了0.19%-2.90%。特别地，在VGG16-Three的实验设置下，网络

的剪枝率达到了89.37%，FLOPS下降了98.45%，但模型准确率反而提升了

10.68%。另外与基于卷积核L1范数的剪枝方法相比，所提方法在剪枝程度和模

型性能保留能力上都优于该剪枝方法。最后，我们发现参与攻击的样本量、采用

的矩阵范数、攻击强度等，对实验结果影响不大，说明该剪枝方法的特征重要性

的评价准则适用性较高。

关键词：卷积神经网络；图像分类；模型剪枝；对抗学习；网络压缩；特征表示

I

ABSTRACT

Inthefieldofcomputervision,deepneuralnetworksexhibitoptimal

performanceforimageclassification,buttheircomputationalandstoragecostsare

expensive.Inmanypracticaltasks,itisdesirabletofindamethodtoreducethecosts

whilemaintainingmodelaccuracy.Thepruningtechniqueofdeepneuralnetwork

modelissuchatechnique.

Inthisarticle,apruningmethodofdeepneuralnetworkmodelsbasedonfeature

representationdifferenceisproposedforimageclassification.Generally,thepruning

methodsofdeepneuralnetworkmodelsinvolvesthreekeypoints:pruningelements,

pruningcriteriaandpruningalgorithm,withtheselectionofpruningcriteriabeingthe

coretechnology.Startingfromtheconsensusthatdeepneuralnetworkmodelsare

extremelyvulnerabletoadversarialattacks,thisarticlebelievesthatthesignificant

decrease