《Python编程》课件_第7章 深度学习.pptxVIP

第7章深度学习

主要内容深度学习的历史和定义几种深度学习模型深度学习主要开发框架深度学习的应用深度学习的展望

深度学习的历史和定义深度学习的历史1957年，感知机1980年代，BP算法2006年，Hinton和Salakhutdinov提出了深度信念网络（DeepBeliefNetwork,DBN）模型——深度学习元年。2009年，Bengio又提出了堆叠自动编码器（StackedAuto-Encoder,SAE），用自动编码器来代替受限玻尔兹曼机构造深度网络，取得了很好的效果。

深度学习的历史和定义深度学习的历史2011年，微软研究院和Google的语言识别研究人员先后采用深度学习技术降低语音识别错误率20%-30%，是该领域10年来最大突破。2012年，Hinton小组的深度学习模型AlexNet在ImageNet图像分类大赛中一举夺冠，该模型采用ReLU激活函数，从根本上解决了梯度消失问题，而GPU的使用极大地提高了模型的运算速度。同年，吴恩达和JeffDean共同主导的GoogleBrain项目，用包含16000个CPU核的并行计算平台训练超过10亿个神经元的深度网络，在语音识别和图像识别领域取得突破性进展。2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以上，跟人类识别的准确率几乎没有差别。

深度学习的历史和定义深度学习的历史2016年，Google公司基于深度学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋选手李世石，证明了在围棋领域基于深度学习技术的机器人已经超越了人类。2017年，基于强化学习算法的AlphaGo升级版AlphaGoZero采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。

深度学习的历史和定义深度学习的历史国内，2012年，华为在香港成立“诺亚方舟实验室”从事自然语言处理、数据挖掘与机器学习、媒体社交、人际交互等方面的研究。2013年，百度成立“深度学习研究院”（IDL），将深度学习应用于语言识别和图像识别、检索。同年，腾讯着手建立深度学习平台Mariana，Mariana面向识别、广告推荐等众多应用领域，提供默认算法的并行实现。2015年，阿里发布包含深度学习开放模块的DTPAI人工智能平台。

深度学习的历史和定义深度学习的定义深度学习是机器学习的一个新的分支，是人工智能和机器学习发展到一定阶段的产物，从本质上来说是机器学习的一个子集，仍然是研究如何利用经验通过计算手段改进系统自身能力的理论和方法的学科，要解决的也仍然是分类、识别和预测以及相关的问题。人工智能????机器学习???深度学习

深度学习的历史和定义深度学习的定义和传统的机器学习（称之为浅层学习）相比较，深度学习更接近人类处理信息的方式。深度学习通过构造深层结构的人工神经网络，模拟这种多层表示，每层对应于一类特定特征，高层特征取决于底层特征，每类特征由一个隐含层表示，隐含层从最初的几层发展到十多层，甚至目前的上千层。以图像处理为例，低层提取边缘特征，更高层在此基础上形成简单图形，直至最后表示出复杂的视觉图案。底层特征高层特征复杂图案

几种深度学习模型深度信念网络深度信念网络（DeepBeliefNetwork,DBN）是由多层受限玻尔兹曼机（RestrictedBoltzmannMachine,RBM）堆叠而成的多层神经网络，每两层构成一个RBM。

几种深度学习模型深度信念网络DBN的训练由两个阶段构成。第一阶段是从输入层开始，对构成深层网络的RBM逐层进行无监督学习，确定所有参数的初始值，该过程被称为预训练；和传统BP算法的随机初值相比，该初始值蕴含了对前一层的特征表征，高层特征由底层特征抽象而来，是关于特征的特征，因此更接近于参数的理论值。第二阶段的学习采用有监督学习，通过BP算法，进一步优化无监督学习阶段得到的参数，由于第一阶段的学习，该阶段只需要进行少量修正即可使模型收敛。

几种深度学习模型卷积神经网络1959年，神经科学家提出猫的初级视觉皮层中神经元的感受野的概念，即单个神经元所反应的一定范围的输入刺激区域。以视觉为例，直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野；视觉感受野往往呈现中心兴奋、周围抑制或者中心抑制、周围兴奋的同心圆结构。1980年，福岛邦彦在感受野概念的基础上提出了“神经认知”模型用于模式识别任务，该模型是一种层次化的多层人工神经网络。1998年，YannLeCun等人提出了基于梯度学习的CNN算法，用于处理手写数字识别问题，并成功应用于美国邮政系统中。

几种深度学习模型??

几种深度学习模型卷积神经网络卷积的执行过程

几种深度学