深度学习报告.pptxVIP

深度学习概述谯平2016年07月21日目 录什么是深度学习为什么需要深度学习深度学习如何进行训练深度学习常用模型深度学习框架Caffe什么是深度学习-概述深度学习：一种基于无监督特征学习和特征层次结构的学习方法基本原理：深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。什么是深度学习-对比神经网络 ：深度学习：什么是深度学习-对比相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个对数回归模型。不同点：神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个深层网络（7层以上），残差传播到最前面的层将变得很小，出现所谓的梯度扩散。为什么需要深度学习-源头人脑视觉机理1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃为什么需要深度学习-源头由此可知人的视觉系统的信息处理是分级的，高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图，抽象层面越高，存在的可能猜测就越少，就越利于分类。为什么需要深度学习-特征底层感知预处理特征提取特征选择预测与识别传统的模式识别方法：良好的特征表达，对最终算法的准确性起了非常关键的作用；识别系统主要的计算和测试工作耗时主要集中在特征提取部分；特征的样式目前一般都是人工设计的，靠人工提取特征。为什么需要深度学习-特征机器学习中，获得好的特征是识别成功的关键目前存在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如：SIFT, HOG, TEXTON等手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气是否能自动地学习特征？为什么需要深度学习-特征中层特征中层信号：连续连接拐角平行物体部件:他们对于人工而言是十分困难的，那么如何学习呢？为什么需要深度学习-特征一般而言，特征越多，给出信息就越多，识别准确性会得到提升；但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。结论：不一定特征越多越好！需要有多少个特征，需要学习确定。为什么需要深度学习-深层初级（浅层）特征表示高层特征或图像，往往是由一些基本结构（浅层特征）组成的为什么需要深度学习-深层结构性特征表示为什么需要深度学习-深层浅层学习的局限人工神经网络（BP算法）—虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型SVM、Boosting、最大熵方法（如LR，Logistic Regression）—带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。为什么需要深度学习-深层2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。为什么需要深度学习-深层深度学习本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。与浅层学习区别：1）强调了模型结构的深度，通常有5-10多层的隐层节点；2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。为什么需要深度学习-深层好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。为什么需要深度学习-对比神经网络的局限性：1）比较容易过拟合，参数比较难调整，而且需要不少技巧；2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；为什么需要深度学习-对比神经网络的BP算法的缺点：（1）反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小；