CN115661511B 通道全局排序指导剪枝和量化联合的神经网络压缩方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115661511B(45)授权公告日2025.07.01

(21)申请号202211217914.4

(22)申请日2022.09.30

(65)同一申请的已公布的文献号申请公布号CN115661511A

(43)申请公布日2023.01.31

(73)专利权人西安电子科技大学

地址710071陕西省西安市太白南路2号

(72)发明人谢卫莹樊潇怡张鑫李云松

雷杰

GO6V10/82(2022.01)GO6N3/0464(2023.01)

GO6N3/0495(2023.01)GO6N3/082(2023.01)

(56)对比文件

CN111882040A,2020.11.03CN111652366A,2020.09.11审查员王永贵

(74)专利代理机构陕西电子工业专利中心

61205

专利代理师陈宏社王品华

(51)Int.CI.

GO6V10/764(2022.01)

GO6V10/774(2022.01)权利要求书5页说明书9页附图1页

(54)发明名称

通道全局排序指导剪枝和量化联合的神经网络压缩方法

(57)摘要

本发明公开了一种通道全局排序指导剪枝和量化联合的神经网络压缩方法，包括下述步骤：获取训练样本集和测试样本集；构建图像分类卷积神经网络模型；对图像分类卷积神经网络模型进行迭代训练；计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并获取剪枝量化后的图像分类卷积神经网络模型；更新

CN115661511B剪枝量化后的图像分类卷积神经网络模型；获取图像分类卷积神经网络的压缩结果。本发明在通道重要性的全局排序指导下对图像分类卷积神经网络模型联合进行剪枝和量化，解决了现有技术中存在的仅在同一层内比较通道重要性且剪枝和量化互不相关导致在指定压缩比下压缩后

CN115661511B

获取训练样本集和测试样本集

获取训练样本集和测试样本集

构建图像分类卷积神经网络模型

对图像分类卷积神经网络模型进行迭代训练

计算训练好的图像分类卷积神经网络模型中

所有通道的重要性得分并对图像分类

卷积神经网络模型进行剪枝和量化

对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝并更新权重、激活层量化位宽

获取图像分类卷积神经网络的压缩结果

CN115661511B权利要求书1/5页

2

1.一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X,并对每幅RGB图像中的图像类别进行标注，然后随机选取数据集X中每类别包含的N幅图像，并将所选取的共MN?幅RGB图像及其标签组成训练样本集Xtrain,将剩余的M(N-N。)幅RGB图像及其标签组成测试样本集Xtest,其中M≥10,N≥6000,N?≥0.8N;

(2)构建图像分类卷积神经网络模型0并对其进行迭代训练：

构建包括顺次连接的二维卷积层、批归一化层、分段线性激活层、多个残差单元模块、自适应平均池化层、全连接层和softmax激活函数层的图像分类卷积神经网络模型0;第一残差单元模块包括顺次连接的卷积模块和分段线性激活层，且卷积模块的输入与分段线性激活层跳跃连接；第二残差单元模块包括并行排布的卷积模块和平均池化层，以及与卷积模块和平均池化层的输出端连接的分段线性激活层；卷积模块包括多个二维卷积层、多个批归一化层和一个分段线性激活层；其中二维卷积层和分段线性激活层的总数均为L,L≥55,每个二维卷积层包括I个通道，I≥16;

(3)对图像分类卷积神经网络模型进行迭代训练：

(3a)初始化迭代次数为e,最大迭代次数为E,E≥600,第e次迭代图像分类卷积神经网络模型的权值参数为θ,并令e=0;

(3b)将训练样本集Xtrain作为0的输入，对每个训练样本进行特征提取，得到MN?个特征图，并对每幅特征图中的目标进行分类，得到每个训练样本的分类结果P=O(Xai);

(3c)采用交叉熵损失函数C,并通过每个训练样本的分类结果及其对应的标签计算0的

损失值C。,再采用随机梯度下降法，通过