2026《关于卷积神经网络压缩方法的研究国内外文献综述》4800字.docxVIP

PAGE1

关于卷积神经网络压缩方法的研究国内外文献综述

目前国内外有很多用于卷积神经网络压缩的方法ADDINNE.Ref.{0B5EBF51-B8EE-4FA8-A510-4E1A4EFF5BA8}[7-11]，大致可以分为五类：新型网络模块设计、知识蒸馏、低秩分解、网络量化、网络剪枝。下面将对每种方法做简要介绍。

新型网络模块设计

研究者们通过自己或其他研究者所积累的经验以及一些技巧，想方设法设计出相对比较小型且精度不低的新网络，例如2016年被发明提出SqueezeNetADDINNE.Ref.{BED59421-0BB0-442C-AC48-948659921C26}[12],以及2017年被Google公司发明提出的MobileNetADDINNE.Ref.{E290CE3A-1C6C-4864-BB03-7A90A6662D49}[13],还有2018年被发明提出的Shu?eNetADDINNE.Ref.{25EDA6EE-C43E-466C-B985-66}[14]等。研究者们在设计新型小型网络结构时，一般使用比较小的卷积核，例如1×1和3×3这两种，这样会比直接使用7×7这样的大卷积核而言降低非常多的计算复杂度。AlexNet网络模型大小约为200M，虽然该网络一共有8层，但是，90%多的计算机都花费在了三层全连接层上，这三层全连接层占据的参数量也是最多的。因为相对于卷积层，FC层的参数量和计算量往往要更加庞大。为了避免引入全连接层导致模型参数量和计算量的飙升，NINADDINNE.Ref.{F0CF962C-9420-40A6-B25F-FAAD8C69D6DF}[15]使用了全局平均池化（GAP）来替换掉全连接层，并且使用1×1的卷积核来实现升维和降维，所以虽然该网络层数有4层，是AlexNet的一半，但是其模型大小确是AlexNet的1/10。在模块设计方面，NIN可以说远远优于AlexNet。此后，也有许多研究者借鉴了１×1卷积核的作用，使用其来进行通道变换，降维特征，达到压缩模型，降低模型大小和计算量的目的，例如GoogleNetADDINNE.Ref.{27FE43DD-FDCD-4DBE-A2B8-AC956621F852}[16]和ResNetADDINNE.Ref.{D56F7D92-341C-439E-BAAE-6D69C00066AD}[4]。

发明了Inception和运用了1×1卷积核，才使得GoogleNetADDINNE.Ref.{B6718A57-4F58-44F4-85A2-9A625D55ACFD}[16]能够达到22层之深。将不同大小的卷积核进行级联，是Inception最特别最创新的地方，它将前一层输出使用三种卷积核，分别是1×1、3×3与5×5，分别进行卷积运算，再将三个核得到的结果级联起来，达到了提出多尺度特征的目的。此外，还极大地降低了网络的参数量，模型大小，使得模型训练速度得到了大幅提升。He等人又在ResNetADDINNE.Ref.{A229D409-D2EA-41F3-BE94-CA1C1D25180B}[4]中提出了残差模块以及运用1×1卷积核进行通道变换，使得ResNet能够很好地解决梯度消失问题，而且ResNet可以将网络越变越深，越深的网络学习到的表征能力越强ADDINNE.Ref.{A97D313A-38A3-41E6-A903-E30CC14D53C1}[17-19]，精度越高。比如ResNet101的识别精度就比VGG16要高得多。自ResNet之后，新型网络结构设计都转向了模块化结构设计，例如借鉴模块化方法，提出了Fire模块的SqueezeNet网络ADDINNE.Ref.{A7339AEF-4B8E-4464-AE05-DE73DFF6528D}[20]，Fire模块不仅仅减少了模型的参数数量，而且达到了更高的识别精度。随后，Google发明提出了深度可分离卷积的MobilenetADDINNE.Ref.{C1EFE40A-B20A-4F66-943D-8E}[21]，即把一个正常标准的卷积操作拆分为两步，第一步是深度卷积depth-wise操作,第二步是逐点卷积point-wise操作。

MobilenetADDINNE.Ref.{9B5C8DE3-78C3-4D8C-932D-BBB2B59869AB}[21]采用深度可分离卷积的思想，即：将一个标准卷积分解为一个深度卷积和一个逐点卷积，如3.1所示。Mobilenet在同等精度下，把网络模型的参数量以及计算量都减少了数十倍之多，目前也在工业界中对精度和延迟都比