卷积神经网络CNN讲课文档.pptVIP

第1页，共24页。主要内容卷积神经网络—诞生背景与历程卷积神经网络应用—LeNet-5手写数字识别深度学习—Hinton做了些什么深度学习在数字图像识别上的运用—Hinton如何在2012年ImageNet引起轰动第2页，共24页。卷积神经网络提出的背景浅层神经网络大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。第3页，共24页。卷积神经网络提出的背景但是后来，因为理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。值得指出的是，神经网络（如采用误差反向传播算法：BackPropagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散GradientDiffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。第4页，共24页。浅层神经网络的缺陷于是，20世纪90年代，有更多各式各样的浅层模型相继被提出，比如只有一层隐层节点的支撑向量机（SVM，SupportVectorMachine）和Boosting，以及没有隐层节点的最大熵方法（例如LR，LogisticRegression）等，在很多应用领域取代了传统的神经网络。显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。能不能自动地学习一些特征呢？第5页，共24页。卷积神经网络早在1989年，YannLeCun(现纽约大学教授)和他的同事们就发表了卷积神经网络（ConvolutionNeuralNetworks，简称CNN）的工作。CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫PoolingLayer）和一个全连接层，一共至少5个隐含层。CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发，尤其是模拟视觉皮层V1和V2层中SimpleCell和ComplexCell的行为。第6页，共24页。第7页，共24页。卷积神经网络应用LeNet-5手写数字识别三大特点：1、局部感受野2、权值共享3、次采样（pooling）第8页，共24页。重点概念卷积核（卷积滤波器）特征图（FeatureMap）C层是一个卷积层：通过卷积运算，可以使原信号特征增强，并且降低噪音S层是一个下采样层：利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息F6层是经典神经网络：输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。第9页，共24页。C1层：输入图片大小： 32*32卷积窗大小： 5*5卷积窗种类： 6输出特征图数量： 6输出特征图大小： 28*28 (32-5+1)神经元数量： 4707[(28*28)*6)]连接数： 12304[(5*5+1)*6]*(28*28)可训练参数： 156 [(5*5+1)*6]第10页，共24页。S2层：输入图片大小： (28*28)*6卷积窗大小： 2*2卷积窗种类： 6输出下采样图数量：6输出下采样图大小：(14*14)*6神经元数量： 1176 (14*14)*6连接数： 5880 (2*2+1)*(14*14)*6可训练参数： 12 (6*(1+1)) 第11页，共24页。卷积和子采样过程： 卷积过程包括：用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。 子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。第12页，共24页。C3层输入图片大小：(14*14)*6卷积窗大小：5*5卷积窗种类：15输出特征图数量：16输出特征图大小：10*10(14-5+1)