深度学习的基本理论与方法(精品·公开课件).ppt

深度学习的基本理论与方法 成科扬 2013年10月30日 目 录 概述 动机 深度学习简介 深度学习的训练过程 深度学习的具体模型及方法 深度学习的性能比较 深度学习的应用 展望 参考文献 相关程序软件及链接 概 述 深度学习：一种基于无监督特征学习和特征层次结构的学习方法 可能的的名称： 深度学习 特征学习 无监督特征学习 动 机 良好的特征表达，对最终算法的准确性起了非常关键的作用； 识别系统主要的计算和测试工作耗时主要集中在特征提取部分； 特征的样式目前一般都是人工设计的，靠人工提取特征。 传统的模式识别方法： 动 机——为什么要自动学习特征 实验：LP-β Multiple Kernel Learning Gehler and Nowozin, On Feature Combination for Multiclass Object Classification, ICCV’09 采用39 个不同的特征 PHOG, SIFT, V1S+,Region Cov. Etc. 在普通特征上MKL表现 有限 结论：特征更重要 动 机——为什么要自动学习特征 机器学习中，获得好的特征是识别成功的关键 目前存在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如：SIFT, HOG, LBP等 手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气 是否能自动地学习特征？ 中层特征 中层信号： 动 机——为什么要自动学习特征 “Tokens” from Vision by D.Marr: 连续 平行 连接 拐角 物体部件: 他们对于人工而言是十分困难的，那么如何学习呢？ 动 机——为什么要自动学习特征 一般而言，特征越多，给出信息就越多，识别准确性会得到提升； 但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。 结论：不一定特征越多越好！需要有多少个特征，需要学习确定。 动 机——为什么采用层次网络结构 人脑视觉机理 1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制 发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃 动 机——为什么采用层次网络结构 人脑视觉机理 人的视觉系统的信息处理是分级的 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图 抽象层面越高，存在的可能猜测就越少，就越利于分类 动 机——为什么采用层次网络结构 视觉的层次性 属性学习，类别作为属性的一种组合映射 Lampert et al. CVPR’09 类别标签 属性 图像特征 动 机——为什么采用层次网络结构 特征表示的粒度 具有结构性（或者语义）的高层特征对于分类更有意义 动 机——为什么采用层次网络结构 初级（浅层）特征表示 高层特征或图像，往往是由一些基本结构（浅层特征）组成的 动 机——为什么采用层次网络结构 结构性特征表示 动 机——为什么采用层次网络结构 浅层学习的局限 人工神经网络（BP算法） —虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型 SVM、Boosting、最大熵方法（如LR，Logistic Regression） —带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型 局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。 深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类； 2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。 深度学习 本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。 与浅层学习区别： 1）强调了模型结构的深度，通常有5-10多层的隐层节点； 2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 深度学习 好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。 深度学习 vs. 神经网络 神经网络 ：