人工智能PPT课件(共9章)第9章--深度学习及其应用.pptxVIP

深度学习掀起了人工智能的又一次热潮

深度学习属于机器学习

深度学习属于机器学习

机器学习的分类

深度学习—概述5

深度学习-无监督学习和有监督学习的结合深度学习的概念由Hinton等人于2006年提出，是机器学习的一个分支，这一概念源于人工神经网络的研究。深度学习本质上其实就是多层神经网络。深度学习：一种基于无监督特征学习和特征层次结构的学习方法深度学习已经应用到许多领域，包括计算机视觉，语音识别以及自然语言处理。6

动机——为什么要自动学习特征机器学习中，获得好的特征是识别成功的关键手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气是否能自动地学习特征？

动机——为什么要自动学习特征一般而言，特征越多，给出信息就越多，识别准确性会得到提升；但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。结论：不一定特征越多越好！需要有多少个特征，需要学习确定。

神经网络兴衰史第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。第二次兴起（1986年）：将BP(BackPropagation)算法用于ANN的训练过程。第三次兴起（2012年）：深度卷积神经网络的兴起，一直到现在。BP算法：信号的正向传播和误差的反向传播。人工神经网络发展

萌芽期1940sMP模型阈值加和模型Hebb学习规则第一次高潮1960s第二次高潮1980s第三次浪潮2000s感知器模型自适应-线性单元Hopfield网络Boltzman机BP算法SVMVapnik95BoostingSchapire95深度网络DBNDBMDeepCNNRNNG.E.HintonY.BengioY.LecunAndrewNgRobFergus低谷CNNLeCun98低谷人工神经网络发展

DeepLearning,Science2006(vol.313,pp.504-507)Neuralnetworksarecomingback!具有多个隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wisePre-training）来有效克服。两个重要的信息：人工神经网络发展

在语音识别取得重大突破百度:deepspeech2011年以来，错误率降低20?30%!2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。人工神经网络发展

深度神经网络的机理人类视觉机理：?DavidHubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。Low-levelsensingPreprocessingFeatureextractionFeatureselectionInference:prediction,recognition

Training:duringthetrainingphase,aneuralnetworkisfedthousandsoflabeledimagesofvariousanimals,learningtoclassifythemInput:Anunlabeledimageisshowntothepre-trainednetworkFirstLayer:theneuronsrespondtodifferentsimpleshapes,likeedgesHighLayer:theneuronsrespondtomorecomplexstructuresTopLayer:theneuronsrespondtohighlycomplex,abstractconceptsthatwewouldidentifyasdifferentanimalsOutput:Thenetworkpredictswhattheobjectmostlikelyis,basedonitstraining

为什么采用层次网络结构特征表示的粒度具有结构性（或者语义）的高层特征对于分类更有意义

深度学习—

深度卷积神经网络16

深度神经网络(DNN)--用神经网络模拟大脑的识别过程神经网络--全连接or卷积？图：全连接与卷积示意图深度卷积神经网络介绍底层提取初级特征高层对低层特征组合与抽象

深度卷积神经网络介绍卷积神经网络（