浅层模型剪枝对准确率及计算量变化探究.pdfVIP

ISSN1009-3044E-mail：eduf@

ComputerKnowledgeandTechnology电脑知识与技术

第20卷第18期(2024年6月）ComputerKnowledgeandTechnology电脑知识与技术

http：//

Vol.20,No.18,June2024Tel：+86-551

浅层模型剪枝对准确率及计算量变化探究

岑华峰

（中国工程物理研究院电子工程研究所，四川绵阳621999)

摘要：剪枝算法能显著降低模型的计算量，是一种在模型计算量和准确率间寻求平衡的方法。现有剪枝算法往往在稀

疏性维度进行调整，以不同稀疏度的模型来满足不同计算量和准确率需求的任务。该文从浅层网络剪枝的粒度控制出

发，提出了两种新的剪枝策略：减少浅层剪枝与增大浅层剪枝，在稀疏性相近的情况下分别达到进一步提高准确率和降

低计算量的作用。通过该文的策略，可以从浅层模型的粒度控制维度去满足不同的任务需求。

关键词：剪枝；浅层网络；粒度控制；模型准确率；模型计算量

中图分类号：TP183文献标识码：A

开放科学（资源服务）标识码(OSID)：

文章编号：1009-3044(2024)18-0011-04

近年来，深度学习在多个领域相较于传统算法展将浅层网络剔除出剪枝序列，但并未分析浅层网络剪

现了巨大的性能提升，广泛应用于计算机视觉领枝导致准确率下降的原因。

域[1-3]。然而，由于深度学习具有参数量庞大、计算复此外，它们忽视了浅层网络剪枝对降低模型运算

杂的特点，它在嵌入式环境中的应用受到阻碍。为降量的益处。在相同剪枝率的条件下，进行浅层网络剪

低深度神经网络进行推理所需的运算量，研究者提出枝的模型能够降低更多的运算量，而剪枝前后模型计

了多种算法，其中剪枝算法因其显著减少参数量和运算量减少量也是剪枝算法的重要评判指标。该文通

算量的特性而备受关注。过对浅层剪枝率的人工调整，可在有限范围内寻求准

剪枝算法首先对神经网络参数或连接的重要程确率下降和计算量减少之间的平衡，以取得更好的实

度进行评估，然后删除其中最不重要的参数或连接，际效果，更贴合实际需求。

使其不参与最终的运算。最基本的两种剪枝方式是通过这两种基于传统剪枝算法的理念变化，针对

非结构化剪枝[4-7]和结构化剪枝。非结构化剪枝只考不同的实际任务需求，本文提出的算法可以从浅层网

虑单个参数的影响，不考虑修剪对整个网络结构的影络的剪枝粒度控制方向选择更优的算法，而不再仅仅

响，文献[4-7]就是典型的非结构化剪枝。这种剪枝类在稀疏度方向寻求任务需求的契合。

型着眼于剪枝粒度控制，聚焦于更精细化的剪枝，在该文接下来的结构如下：第1章分析了浅层网络

相同稀疏性下往往可以得到更好的准确率。随后的剪枝敏感性的成因和浅层网络剪枝对计算量减少的

剪枝研究常聚焦于与硬件的协同设计，注重约束控影响，并据此分别提出了忽略浅层网络剪枝和提高浅

制，实际推理能力有所提升，但在相近稀疏性下的准层网络剪枝率的剪枝算法。而注重浅层剪枝、不对浅

确率表现往往不如传统非结构化剪枝。因此，该文以