深度学习的基本理论与方法精要.ppt

深度学习的基本理论与方法 王雪 2014年12月24日 目 录 概述 深度学习简介 深度学习的训练过程 深度学习的具体模型及方法 深度学习的应用 总结 展望 参考文献 概 述 2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”（DNN，Deep Neural Networks）的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。 2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，Deep Learning）。 2013年1月，在百度的年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个重点方向就是深度学习，并为此而成立Institute of Deep Learning（IDL）。这是百度成立十多年以来第一次成立研究院。 2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术（Breakthrough Technology）之首。 百度首席科学家吴恩达2014年12月19日表示，百度在深度学习领域的发展已经超过了谷歌与苹果，如果这项技术真具有划时代的革命意义，那么百度就此开启并且引领了语音2.0时代，也即是人工智能时代的一个重要分支，改变搜索，更改变交互。 概 述 深度学习：一种基于无监督特征学习和特征层次结构的学习方法 可能的的名称： 深度学习 特征学习 无监督特征学习 概 述 良好的特征表达，对最终算法的准确性起了非常关键的作用； 识别系统主要的计算和测试工作耗时主要集中在特征提取部分； 特征的样式目前一般都是人工设计的，靠人工提取特征； 手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气； 是否能自动地学习特征？ 传统的模式识别方法： 深度学习就是用来解答这个问题的！！ 浅层学习 浅层学习——人工神经网络（BP算法） 采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛，整体是一个梯度下降法。 神经网络 神经网络的局限性： 1）比较容易过拟合，参数比较难调整，而且需要不少技巧； 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优； 深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类； 2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。采用逐层训练机制的原因在于如果采用BP机制，对于一个deep network（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。 深度学习 本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。 与浅层学习区别： 1）强调了模型结构的深度，通常有5-10多层的隐层节点； 2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 深度学习 好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。 深度学习训练过程 不采用BP算法的原因 （1）反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小； （2）收敛易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易导致这一情况； （3）BP算法需要有标签数据来训练，但大部分数据是无标签的； 深度学习训练过程 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。 深度学习训练过程 wake-sleep算法: 1）wake阶段： 认知过程，通