2026《CNN模型通道剪枝概述》2700字.docxVIP

PAGE

PAGE3

CNN模型通道剪枝概述

1.1High-rank剪枝方法

假设预训练的CNN模型具有一组k个卷积层，第i个卷积层中的参数可以表示为一组过滤器wci={w1i,w2i,…,wni,}∈Rni×ni?1×ki×k

修剪特征图通道对应的过滤器进行剪枝旨在从IC

方程(1)中如果wji被分组为ICi，则δij为0；如果被分组为U

问题的关键在于设计一个适当的函数，该函数可以很好地反映经过滤波器提取的特征的重要性。而特征图的信息由参数也就是过滤器决定，那么可以用特征图的秩来表示过滤器的重要性，测量方法如下:

使用训练时一两个批次的结果图像来计特征图的秩，我们用期望表示:

(4)

那么最终我们可以得到公式(6)，用公式(6)裁剪秩较低通道对应的过滤器:

(5)

1.2剪枝的过程

图7：剪枝的流程

如图7所示，和基于范数、范数等剪枝方式的通道剪枝方案类似High-rank通道剪枝方案通过预训练的神经网络模型，得到每一个卷积层进行卷积操作后获得的各个特征图，由特征图来定义过滤器重要性，并根据预定义的剪枝率对相应的过滤器进行裁剪。可以大致总结为以下流程:

(1)计算出每个过滤器的输出特征图的平均秩。

(2)对得到的平均秩进行排序