深度学习：智能网络目标识别技术 课件 ch07 深度模型压缩技术.pptx

第7章

深度学习：智能网络目标识别技术

深度模型压缩技术

深度模型压

缩技术概述

模型剪枝作为模型稀疏化的主要手段之一，通过对已完成训练的深度模型移除冗余、信息量少的权重，来减少深度模型的参数，进而加速模型的计算和压缩模型的存储空间。不仅如此，通过剪枝网络，还能防止模型过拟合。根据是否一次性删除整个节点或滤波，模型剪枝工作可细分成非结构化剪枝和结构化剪枝。非结构化剪枝考虑每个滤波的每个元素，删除滤波中元素为0的参数，而结构化剪枝直接考虑删除整个滤波（或通道）、分支（Branch）、模块（Block）等。

在早期研究中，模型剪枝更侧重于非结构化剪枝。20世纪末，LeCun等人提出了最优化脑损失（