详解卷神经网络.pptVIP

Convolutional neural Networks 卷积神经网络 杨皓轩 主要内容 1.卷积神经网络一诞生背景与历程 2.卷积神经网络应用— LeNet5手写数字识别 3.深度学习一 Hinton做了些什么 4.深度学习在数字图像识别上的运用 Hinton如何在2012年 mageNet引起轰动 卷积神经网络提出的背景 浅层神经网络 大约二三十年前,神经网络曾经是机器学习领域特别热门 的一个方向,这种基于统计的机器学习方法比起过去基于 人工规则的专家系统,在很多方面显示出优越性。 输出层 隐层 Y8 输入层 神经网络 卷积神经网络提出的背景 但是后来,因为理论分析的难度,加上训练方法需要很 多经验和技巧,以及巨大的计算量和优化求解难度,神经 网络慢慢淡出了科研领域的主流方向。 ·值得指岀的是,神经网络(如采用误差反向传播算法: Back Propagation,简称BP算法,通过梯度下降方法在训 练过程中修正权重使得网络误差最小)在层次深的情况下 性能变得很不理想(传播时容易岀现所谓的梯度弥散 Gradient Diffusion或称之为梯度消失,根源在于非凸目标 代价函数导致求解陷入局部最优,且这种情况随着网络层 数的增加而更加严重,即随着梯度的逐层不断消散导致其 对网络权重调整的作用越来越小),所以只能转而处理浅 层结构(小于等于3),从而限制了性能。 浅层神经网络的缺陷 于是,20世纪90年代,有更多各式各样的浅层模型相继被 提出,比如只有一层隐层节点的支撑向量机(SWM, Support Vector Machine)和 Boosting,以及没有隐层节 点的最大熵方法(例如LR, Logistic Regression)等,在 很多应用领域取代了传统的神经网络。 显然,这些浅层结构算法有很多局限性:在有限样本和计 算单元情况下对复杂函数的表示能力有限,针对复杂分类 问题其泛化能力受到一定的制约。更重要的是,浅层模型 有一个特点,就是需要依靠人工来抽取样本的特征。然而, 手工地选取特征是一件非常费力的事情,能不能选取好很 大程度上靠经验和运气。 能不能自动地学习一些特征呢? 深度学习的优势 深度学习通过学习一种深层非线性网络结构,只需简单的 网络结构即可实现复杂函数的逼近,并展现了强大的从大 量无标注样本集中学习数据集本质特征的能力 ·深度学习能够获得可更好地表示数据的特征,同时由于模 型的层次深(通常有5层、6层,甚至10多层的隐层节点, “深”的好处是可以控制隐层节点的数目为输入节点数目 的多项式倍而非多达指数倍)、表达能力强,因此有能力 表示大规模数据。 对于图像、语音这种特征不明显(需要手工设计且很多没 有直观的物理含义)的问题,深度模型能够在大规模训练 数据上取得更好的效果。 卷积神经网络 早在1989年, Yann LeCun(现纽约大学教授)和他的同事 们就发表了卷积神经网络( Convolution Neural Networks, 简称CNN)的工作。 CNN是一种带有卷积结构的深度神经网络,通常至少有两 个非线性可训练的卷积层,两个非线性的固定卷积层(又 叫 Pooling Laye)和一个全连接层,一共至少5个隐含层。 ·CNN的结构受到著名的Hube- Wiese生物视觉模型的启发 尤其是模拟视觉皮层V1和V2层中 Simple Cell和 Complex Ce的行为。 卷积神经网络应用 · LeNet-5手写数字识别 C3: f. maps 16@10x10 feature maps f. maps 16@5x5 6014x14 C5: layer F6: layer OUTPUT Full in connections Subsampling Convolutions Subsampling Full connecti C3: t. maps 16@10x1 INPUT C1: teature maps S4: f. maps 16(05x5 6@2Bx28 20 yer F6: layer OUTPUT Gaussian connections Convolutions Subsampling Convolutions Subsampling Full connection CI 输入图片大小 32*32 卷积窗大小: 卷积窗种类 6 输出特征图数量:6 输出特征图大小:28*28(325+1) 神经元数量 4707[(28*28)*6)] 连接数: 12304[(5*5+1)来6]*(28*28) 可训练参数: 156[(5*5+1)来6] 0010 00 00 Convolved Feature