深度学习基础与实践 课件 6.1 卷积神经网络原理.pptx

卷积神经网络原理

CNN的结构原理011962年，生物学家Hubel和Wiesel通过对猫脑视觉皮层的研究，发现在视觉皮层中存在一系列复杂构造的细胞，这些细胞对视觉输入空间的局部区域很敏感，它们被称为“感受野”。感受野以某种方式覆盖整个视觉域，它在输入空间中起局部作用，因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性。感受野的细胞分为简单细胞和复杂细胞两种类型。1980年，Fukushima根据Hubel和Wiesel的层级模型提出了结构与之类似的神经认知机（Neocognitron）。神经认知机采用简单细胞层（Ｓ层）和复杂细胞层（Ｃ层）交替组成，其中Ｓ层与Hubel-Wiesel层级模型中的简单细胞层或者低阶超复杂细胞层相对应，Ｃ层对应于复杂细胞层或者高阶超复杂细胞层。基本原理

CNN的结构原理01随后，LeCun等人基于Fukushima的研究工作使用BP算法设计并训练了CNN（该模型称为LeNet-5），它是经典的CNN结构，后续有许多工作基于此进行改进，它在一些模式识别领域中取得了良好的分类效果。基本原理图片来源：/tags/MtTaggysNTg1OS1ibG9n.html卷积层池化层全连接层

CNN的结构原理01卷积层的神经元被组织到各层网络中，每个神经元通过一组权值被连接到上一层特征面的局部区域，即卷积层中的神经元与其输入层中的特征面进行局部连接。然后将该局部加权和传递给一个非线性函数（如ReLU函数）即可获得卷积层中每个神经元的输出值。卷积层图片来源：/read/c第一次卷积过程图第二次卷积过程图

CNN的结构原理01在传统的CNN中，激励（激活）函数一般使用饱和非线性函数如，sigmoid函数、tanh函数等。相比较于饱和非线性函数，不饱和非线性函数能够解决梯度爆炸/梯度消失问题，同时，也能够加快收敛速度。因此，在目前的CNN结构中常用不饱和非线性函数作为卷积层的激励函数，如ReLU函数。卷积层

CNN的结构原理01CNN网络最大的特点在于局部连接和权值共享。在同一个输入特征面和同一个输出特征面中，CNN的权值共享，如图所示，权值共享发生在同一种颜色当中，不同颜色权值不共享。卷积层

CNN的结构原理01池化层紧跟在卷积层之后，卷积层是池化层的输入层。池化层由多组池化核得到多个特征面，它的每一个特征面对应于上一层的一个特征面，不会改变特征面的个数。池化层的神经元也与其输入层的局部接受域相连，不同神经元局部接受域不重叠。池化层旨在通过降低特征面的分辨率来获得具有空间不变性的特征。池化层起到二次提取特征的作用，它的每个神经元对局部接受域进行池化操作。池化层

CNN的结构原理01常用的池化方法有最大池化、均值池化、随机池化。其中，最大池化特别适用于分离非常稀疏的特征，而且，最大池化方法比均值池化能够获得一个更好的分类性能，因而，使用局部区域内所有的采样点去执行池化操作也许不是最佳选择。随机池化方法是对局部接受域采样点按照其值大小赋予概率值，再根据概率值大小随机选择，该池化方法确保了特征面中不是最大激励的神经元也能够被利用到。随机池化具有最大池化的优点，同时由于随机性它能够避免过拟合。此外，还有混合池化、空间金字塔池化、频谱池化等池化方法。池化层

CNN的结构原理01在CNN结构中，经多个卷积层和池化层后，连接着１个或１个以上的全连接层。与ＭＬＰ类似，全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。全连接层图片来源：/pCNN的结构原理01影响CNN性能的３个因素：网络层数、卷积核的数量、网络组织结构。2015年，ResNet的提出者何恺明，通过实验结果表明网络深度比卷积核大小更重要。当时间复杂度大致相同时，具有更小卷积核且深度更深的CNN结构比具有更大卷积核同时深度更浅的CNN结构能够获得更好的实验结果。2016年，斯坦福大学XuChen认为：（１）增加网络的深度能够提升准确率；（２）增加卷积核的数量也可以提升准确率；（３）增加一个卷积层比增加一个全连接层对提升准确率更有效。在CNN结构中，深度越深、卷积核数目越多，则网络能够表示的特征空间也就越大、网络学习能力也越强，然而也会使网络的计算更复杂，极易出现过拟合的现象。性能影响因素

CNN的结构原理01LeNet-5具有诸多优点：（1）CNN中卷积层的权值共享使网络中可训练的参数变少，降低了网络模型复杂度，减少过拟合，从而获得了一个更好的泛化能力；（2）在CNN结构中使用池化操作使模型中的神经元个数大大减少，对输入空间的平移不变性也更具有鲁棒性；（3）CNN结构的可拓展性很强，它可以采用很深的层数。深度模型具有更强的表达能力，它能够处理更复杂的