卷积神经网络CNN.pptVIP

卷积神经网络CNN 第一页，共二十四页。 主要内容 卷积神经网络—诞生背景与历程 卷积神经网络应用—LeNet-5手写数字识别 深度学习—Hinton做了些什么 深度学习在数字图像识别上的运用 —Hinton如何在2012年ImageNet引起轰动 第二页，共二十四页。 卷积神经网络提出的背景 浅层神经网络 大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。 第三页，共二十四页。 卷积神经网络提出的背景 但是后来，因为理论分析的难度，加上训练方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。 值得指出的是，神经网络（如采用误差反向传播算法：Back Propagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。 第四页，共二十四页。 浅层神经网络的缺陷 于是，20世纪90年代，有更多各式各样的