【卷积神经网络理论基础概述4400字】.docxVIP

卷积神经网络理论基础概述

随着卷积神经网络的发展，卷积的层数也在不断增加，浅层机器学习模型同样会遇到很多问题，如过拟合、梯度弥散和局部最优等。在2006年，有人提出了一种“逐层预训练”(Layer-wisePre-training)的方法，该方法可以有效地解决深层神经网络训练中的问题，把机器学习与人工智能的研究带入了一个新的开端。

1.1卷积神经网络

卷积神经网络结构主要包括下面几个部分：输入层、卷积层、激活函数、池化层和全链接层，从输入图像开始，每一层经过卷积运算后传输到下一层，而本层的输出就是下一层的输入，表示输入数据在每一层均发生变化。一张图像从本质上来讲都是由一个个像素点组成，每个像素点可以由灰度值来表示，通道就可以来表示图片上的颜色和其他信息，我们常见的图片大多都是数码相机或手机拍摄，这类的照片均包含红绿蓝三个通道。一张图片可以看做是相互叠加在一起的多个像素灰度值的二维矩阵，三个通道像素的范围都在[0,255]之间。图2-3是一种用于分类的卷积神经网络，下面以此为例对每一层进行简要概述。

(1)输入层：作为整个神经网络的起始层，要对输入的数据图像进行预处理，如图2-3所示最左侧的三维矩阵的长和宽分别表示输入图像的大小，而三维矩阵的深度表示图像的色彩通道(channel),输入的是灰度图则深度为1,若在RGB色彩模式下，深度为3。从输入层开始，卷积神经网络把不同的神经网络结构将上层的三维矩阵转化成下一层的三维矩阵，直至最终的全连接层。

(2)卷积层：卷积层是整个神经网络中最重要的部分，与传统全连接层不同，卷积运算是采用滤波器对输入的图像进行局部扫描，之后将扫描的数值与图像的矩阵数值相乘叠加，卷积层中节点的输入是上一层卷积层中很小的一部分，这部分的大小有3*3或者5*5。卷积层会把神经网络中的很小的部分更加深入的分析从中得到抽象度还要高的特征模板。一般情况下，处理后的卷积层深度会增加，卷积层的卷积运算用公式表示如下所示：

(2-11)

式中f作为激活函数，k代表卷积核，Mj是输入的特征映射集合，b为偏置单元，X表征输出的特征图像。

(3)池化层：池化层在卷积网络中一般是穿插在卷积层中间，其在很大程度上可以减少矩阵的尺寸。我们常认为池化操作就是是把一张高分辨率的图片转化成低分辨率的图片。进而减少最后全连接层中节点的数目，最终的目的是减少整个卷积网络中的参数，降低资源的耗损，同时也可以有效地防止过拟合的发生。卷积神经网络中常见的池化方式有最大值池化和均值池化。最大值池化采用的形式是2×2的尺寸，滑动步长设置成2,对图像进行下采样，将其中近四分之三的激活信息都弃掉，把采样信息中最重要的信息保存下来，进一步激活里面的数值大的特征，减少一些噪声信息。均值池化是将目标区域里所有数值进行加权平均。在实际中证明，在卷积层之间引入最大池化的效果是最好的，而平均池化一般放在卷积神经网络的最后一层。

(4)全链接层：全链接层用于每一个神经元与前一层所有的神经元全部连接，并实现输出的神经元共享参数。经过了一系列的卷积层和池化层之后，提取图像的特征图，假设特征图的尺寸是3×3×512,此时把特征图的所有神经节点变成全连接层的样子，从直观上讲就是将一个3D的立方体去进行重新排列，连接成一个全连接层，里面有3×3×512=4608个神经元，再经过几个隐藏层，最后得出分类结果。

(5)Softmax层。穿过Softmax层，可以输出样例中属于不同种类的概率分

布结果。

卷积层1池化层1卷积层2池化层2全链接层

分类结果

分类结果

输入图像

输入图像

Softmax

图2-3用于图像分类的一种卷积神经网络结构

Fig.2-3Aconvolutionalneuralnetworkstructureforimageclassification

在深度学习理论中，现在大多数深度神经网络逐层去构建神经元，逐次训练网络，误差从上到下一层层传播。训练的过程有前向传播和反向传播两个阶段，前向传播作用是传递特征信息，反向传播作用是微调模型参数。训练过程如下：

(1)前向传播阶段

在CNN中，前向传播公式如下：

x1=f(u)

u1=Wlxl-1+b

其中，1是当前层，W1是1层的权值，b1是1层的偏置，f表示激活函数。卷积层的l层中第j个卷积核的前向传播过程可表示为：

其中，x}为第1层中第j个卷积核的输出，M;为卷积核，k;;为第1层中第j

个卷积核对应的第i个卷积窗口，b}为第1层中第j个卷积核的偏置。

(2)反向传播阶段

反向传播算法(Backpropagation)是训练ANN最常用且效果最显著的算法。它主要的