卷积神经网络CNN[实用].pptVIP

精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·可编辑借鉴 精品PPT·收集整理 Convolutional Neural Networks 卷积神经网络 * 精品PPT·可编辑借鉴 主要内容 卷积神经网络—诞生背景与历程 卷积神经网络应用—LeNet-5手写数字识别 深度学习—Hinton做了些什么 深度学习在数字图像识别上的运用 —Hinton如何在2012年ImageNet引起轰动 * 精品PPT·可编辑借鉴 卷积神经网络提出的背景 浅层神经网络 大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。 * 精品PPT·可编辑借鉴 卷积神经网络提出的背景 但是后来，因为理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。 值得指出的是，神经网络（如采用误差反向传播算法：Back Propagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。 * 精品PPT·可编辑借鉴 浅层神经网络的缺陷 于是，20世纪90年代，有更多各式各样的浅层模型相继被提出，比如只有一层隐层节点的支撑向量机（SVM，Support Vector Machine）和Boosting，以及没有隐层节点的最大熵方法（例如LR，Logistic Regression）等，在很多应用领域取代了传统的神经网络。 显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。 能不能自动地学习一些特征呢？ * 精品PPT·可编辑借鉴 卷积神经网络 早在1989年，Yann LeCun (现纽约大学教授) 和他的同事们就发表了卷积神经网络（Convolution Neural Networks， 简称CNN）的工作。 CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫Pooling Layer）和一个全连接层，一共至少5个隐含层。 CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发，尤其是模拟视觉皮层V1和V2层中Simple Cell和Complex Cell的行为。 * 精品PPT·可编辑借鉴 * 精品PPT·可编辑借鉴 卷积神经网络应用 LeNet-5手写数字识别 三大特点： 1、局部感受野 2、权值共享 3、次采样（pooling） * 精品PPT·可编辑借鉴 重点概念 卷积核（卷积滤波器） 特征图（Feature Map） C层是一个卷积层： 通过卷积运算，可以使原信号特征增强，并且降低噪音 S层是一个下采样层： 利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息 F6层是经典神经网络： 输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。 * 精品PPT·可编辑借鉴 C1层： 输入图片大小： 32*32 卷积窗大小： 5*5 卷积窗种类： 6 输出特征图数量： 6 输出特征图大小： 28*28 (32-5+1) 神经元数量： 4707 [(28*28)*6)] 连接数： 12304 [(5*5+1)*6]*(28*28) 可训练参数： 156 [(5*5+1)*6] * 精品PPT·可编辑借鉴 S2层： 输入图片大小： (28*28)*6 卷积窗大小： 2*2 卷积窗种类： 6 输出下采样图数量：6 输出下采样图大小：(14*14)*6 神经元数量： 1176 (1