卷积神经网络.pptxVIP

深度学习之卷积神经网络CONTENTS13概述网络结构24研究方法特点目 录概述Background13概述网络结构24研究方法特点概述20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。BackgroundResearch13概述网络结构24研究方法特点Method研究方法BP与CNNResearchCNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。Method全连接与局部连接研究方法局部接受域和权值共享Research二维空间上的局部接受域使得神经网络可以从输入图像中提取初级视觉特征，如特定角度的边缘，端点和拐角等。 权值共享迫使那些共享同一组权值的神经元在输入的不同位置检测同一种特征。卷积神经网络把每层共享相同权值的神经元组织成一个二维平面，称为特征图(Feature Map)，Method研究方法池化操作Research输出的结构的基础上在特征图的不同位置的值进行统计操作，在保留特征的显著性的同时降低参数规模。使用统计后的结果代替原来特征图上对应的值作为输出，这个操作过程就被称之为池化操作。一般分为两种，平均池化、最大池化和随机池化。Method研究方法Network13概述网络结构24研究方法特点Structure网络结构结构示意图NetworkCNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积...这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层，全连接层跟BP一样。输入层：输入层没有输入值，只有一个输出向量，这个向量的大小就是图片的大小，即一个32*32矩阵网络初始化　CNN的初始化主要是初始化卷积层和输出层的卷积核（权重）和偏置，对卷积核和权重进行随机初始化，而对偏置进行全0初始化。Structure网络结构卷积层Network卷积核大小为2*2，上一层的特征map大小为4*4，用这个卷积在图片上滚一遍，放到上面逐个移动，得到一个一个(4-2+1)*（4-2+1）=3*3的特征map，卷积核每次移动一步。Structure网络结构卷积层C3Network1516＝5*5*（6*3+6*4+3*4+6）+16卷积层的每一个特征map是不同的卷积核在前一层要求的map上作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。 C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。这样C3层有1516个可训练参数和151600个连接。Structure网络结构采样层Network采样层是对上一层map的一个采样处理，区域大小为scale*scale，有些实现是取小区域的最大值。如，采用2*2小区域的均值。注意，卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，卷积核是2*2，每个元素都是1/4，去掉计算得到的卷积结果中有重叠的部分。Structure网络结构反向传输调整权重Network反向传输过程是CNN最复杂的地方，虽然从宏观上来看基本思想跟BP一样，都是通过最小化残差来调整权重和偏置，但CNN的网络结构并不像BP那样单一，对不同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难Structure网络结构输出层的残差反向传输调整权重Network　和BP一样，CNN的输出层的残差与中间层的残差计算方式不同，输出层的残差是输出值与类标值得误差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：Structure网络结构下一层为采样层的卷积层的残差反向传输调整权重Network采样层（L+1）的map大小是卷积层L的1/（scale*scale），scale取2，卷积层L的某个map中的4个神经元与L+1层对应map的一个神经元关联，可以对采样层的残差与一个scale*scale的全1矩阵进行克罗内克积进行扩充，使得采样层的残差的维度与上一层的输出map的维度一致Structure网络结构下一层为采样层的卷积层的残差反向传输调整权重NetworkStructure网络结构下一层为卷积层的采样层的残差反向传输调整权重Network采样层到卷积层直接的连接是有权重和偏置参数的，因此比较复杂，这里不再赘述。Structure网络结构特点Characters1