《深度学习 》课件 第3章-卷积神经网络.pptx

单击此处添加文本;;;;5;2、CNN的层次结构

;3、前馈运算与损失函数

;;;;;;01;;卷积运算在神经网络中用于分析图像，通过卷积核与输入数据相乘累加，得到特征图，用于后续层的处理。;;;;;;;;;;;;;;LeNet-5是由YannLeCun等人于1998年提出的早期卷积神经网络模型，广泛用于手写数字识别任务（如MNIST数据集）。它引入了卷积层和池化层，通过卷积核提取局部特征，并利用池化层降低特征图尺寸以增强模型鲁棒性。

LeNet-5使用Sigmoid激活函数引入非线性，能够学习复杂的图像特征。它在MNIST数据集上取得了优异性能，为深度学习在计算机视觉领域的发展奠定了基础，并激励了后续更复杂CNN模型的出现。;2012年，GeoffHinton及其学生AlexKrizhevsky和IlyaSutskever在多伦多大学设计了AlexNet，这是一个深层卷积神经网络。它在2012年ImageNetLSVRC竞赛中夺冠，top5错误率仅为15.3%，远低于第二名的26.2%。

AlexNet的网络结构包含五个卷积层和三个全连接层，分为上下两个相同的分支，分别在两个GPU上并行训练，并在第三卷积层和全连接层交互信息。它解决了图像分类问题，输入为1000类图像中的一个，输出为1000维向量，表示输入图像属于各分类的概率。AlexNet的成功奠定了CNN在图像识别领域的核心地位，推动了深度学习的发展。;;VGG是由牛津大学VGG组提出的CNN网络，基于AlexNet加深了网络层次，采用多个3×3卷积核代替AlexNet中的大卷积核（11×11、5×5），在ImageNet上Top-5准确率达到92.3%，是2014年竞赛中定位任务的第一名和分类任务的第二名基础网络。VGG使用更小的卷积核和池化核，使网络更深更宽，计算量增加放缓。测试阶段，VGG将全连接层替换为卷积层，可接收任意尺寸输入。VGG的预训练模型广泛应用于特征提取、物体候选框生成、细粒度图像定位与检索及图像协同定位等任务。

;GoogleNet和VGG是2014年ImageNet竞赛中的两个著名网络，都具有较深的层次。与VGG不同，GoogleNet大胆创新，未继承AlexNet框架。GoogleNet通过结构设计增加深度和宽度，同时避免了过拟合、梯度消失等问题，且模型大小远小于AlexNet和VGG。

GoogleNet采用22层网络，通过在不同深度处增加两个辅助损失（loss）来避免梯度消失。其创新点在于Inception模块，这是一种“网中网”结构，既增加了网络宽度，又提升了对不同尺度的适应性。为了避免特征图（featuremap）过厚，Inception模块在3×3卷积、5×5卷积和最大池化层后分别加入1×1卷积核以降低特征图厚度。这使得GoogleNet在拥有22层的同时，参数量少于AlexNet和VGG。;在早期研究中，CNN网络从AlexNet的7层发展到VGG的16或19层，再到GoogleNet的22层，深度不断增加以提升表达能力。然而，后续研究发现，当网络深度达到一定程度后，继续增加层数不仅无法提升性能，反而会导致网络收敛变慢、准确率下降，例如VGG网络在19层以上时性能开始下降。

在此背景下，华人学者何恺明等人提出了ResNet网络，引入残差学习的概念，解决了深层网络中的信息丢失和梯度问题，并在ILSVRC2015竞赛中夺冠，top5错误率仅为3.57%，且参数量少于VGG。ResNet的核心思想是增加直连通道，允许原始输入信息直接传递到后面的层中，简化了学习目标，提升了训练速度和准确率，且具有良好的推广性，可应用于InceptionNet等网络。;1、R-CNN系列模型工作原理;2、FastR-CNN网络的工作原理

;2、FastR-CNN网络的工作原理

;;;MobileNet是一种轻量级CNN架构，专为移动设备和嵌入式系统设计，以实现高效的图像识别任务。它由谷歌研究人员于2017年提出，成为深度学习领域中受欢迎的轻量级模型之一。

MobileNet的核心是深度可分离卷积，它将传统卷积分解为两个独立步骤：深度卷积和逐点卷积。深度卷积对每个输入通道单独进行卷积操作，而逐点卷积使用1×1卷积核将深度卷积的结果映射到最终输出通道数上，实现通道间的信息交互和混合。

此外，MobileNet引入了宽度乘法参数（WidthMultiplier），用于控制网络宽度，减少通道数和模型计算量。该参数介于0和1之间，例如0.5表示将通道数减少为原来的一半。

通过深度可分离卷积和宽度乘法参数的结合，MobileNet在资源受限的设备上实现了高效的图像识别任务，成为移动端和嵌入式设备上广泛使用的轻量级深度学习模型。;Conforme