一天搞懂深度学习.pptxVIP

深度学习智慧融入街镇

目录content深度学习概述第一章深度学习应用研究第二章总结与展望第三章

深度学习概述第一章历史与背景基本思想经典模型

历史与背景”假设我们要让程序判断下面的图像是否为猫：判断图像是否为猫的规则该怎么描述？用枚举的方法，即为每张可能的图像对应一个结果（是猫，不是猫），根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像，如果每个像素值的值是0-255之间的整数，根据排列组合原理，所有可能的图像数量为：所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标明了类别的图像送入机器学习程序中进行训练。——机器学习

1-1历史与背景机器学习发展阶段1980s：登上历史舞台1990-2012：走向成熟和应用2012：深度学习时代神经网络卷土重来1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是：1984：分类与回归树???1986：反向传播算法???1989：卷积神经网络代表性的重要成果有：1995：支持向量机（SVM）1997：AdaBoost算法1997：循环神经网络（RNN）和LSTM2000：流形学习2001：随机森林在与SVM的竞争中，神经网络长时间内处于下风，直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持，加上计算能力的进步，训练深层、复杂的神经网络成为可能，它们在图像、语音识别等有挑战性的问题上显示出明显的优势。

历史与背景1958:Perceptron(linearmodel)1969:Perceptronhaslimitation1980s:Multi-layerperceptronDonothavesignificantdifferencefromDNNtoday1986:BackpropagationUsuallymorethan3hiddenlayersisnothelpful1989:1hiddenlayeris“goodenough”,whydeep?2006:RBMinitialization2009:GPU2011:Starttobepopularinspeechrecognition2012:winILSVRCimagecompetition2015.2:Imagerecognitionsurpassinghuman-levelperformance?2016.3:AlphaGObeatsLeeSedol2016.10:SpeechrecognitionsystemasgoodashumansUpsanddownsofDeepLearning

历史与背景

历史与背景

历史与背景

历史与背景

深度学习原理Step1:defineasetoffunctionStep2:goodnessoffunctionStep3:pickthebestfunctionNeuralNetwork1-2基本思想

NeuralNetwork“Neuron”DifferentconnectionleadstodifferentnetworkstructuresNeuralNetwork1-2基本思想

基本思想8layers19layers22layersAlexNet(2012)VGG(2014)GoogleNet(2014)16.4%7.3%6.7%Deep=Manyhiddenlayers

基本思想AlexNet(2012)VGG(2014)GoogleNet(2014)152layers3.57%ResidualNet(2015)Taipei101101layers16.4%7.3%6.7%Deep=ManyhiddenlayersSpecialstructure

NeuralNetwork??…………y1y2yMW1W2WLb2bLxa1a2yy?xb1W1x+?b2W2+bLWL+…b1…1-2基本思想

1-2基本思想…………y1y2yMOutputLayerHiddenLayersInputLayerFeatureextractorreplacing