一天搞懂深学习.pptxVIP

一天搞懂深学习第1页/共51页 目录 content深度学习概述第一章深度学习应用研究第二章总结与展望第三章第2页/共51页 深度学习概述第一章历史与背景基本思想经典模型第3页/共51页 1-1 历史与背景假设我们要让程序判断下面的图像是否为猫：判断图像是否为猫的规则该怎么描述？用枚举的方法，即为每张可能的图像对应一个结果（是猫，不是猫），根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像，如果每个像素值的值是0-255之间的整数，根据排列组合原理，所有可能的图像数量为：所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标明了类别的图像送入机器学习程序中进行训练。——机器学习第4页/共51页 1-1 历史与背景机器学习发展阶段1980s：登上历史舞台1990-2012：走向成熟和应用2012：深度学习时代神经网络卷土重来1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是：1984：分类与回归树? ? ? 1986：反向传播算法? ? ? 1989：卷积神经网络代表性的重要成果有：1995：支持向量机（SVM）1997：AdaBoost算法1997：循环神经网络（RNN）和LSTM2000：流形学习2001：随机森林在与SVM的竞争中，神经网络长时间内处于下风，直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持，加上计算能力的进步，训练深层、复杂的神经网络成为可能，它们在图像、语音识别等有挑战性的问题上显示出明显的优势。第5页/共51页 1958: Perceptron (linear model)1969: Perceptron has limitation1980s: Multi-layer perceptron Do not have significant difference from DNN today1986: BackpropagationUsually more than 3 hidden layers is not helpful1989: 1 hidden layer is “good enough”, why deep?2006: RBM initialization2009: GPU2011: Start to be popular in speech recognition2012: win ILSVRC image competition 2015.2: Image recognition surpassing human-level performance?2016.3: Alpha GO beats Lee Sedol2016.10: Speech recognition system as good as humansUps and downs of Deep Learning1-1 历史与背景第6页/共51页 1-1 历史与背景第7页/共51页 1-1 历史与背景第8页/共51页 1-1 历史与背景第9页/共51页 1-1 历史与背景第10页/共51页 Step 1: define a set of function Step 2: goodness of functionStep 3: pick the best function深度学习原理Neural Network1-2 基本思想第11页/共51页 Neural Network “Neuron”Different connection leads to different network structuresNeural Network1-2 基本思想第12页/共51页 8 layers19 layers22 layersAlexNet (2012)VGG (2014)GoogleNet (2014)16.4%7.3%6.7%Deep = Many hidden layers1-2 基本思想第13页/共51页 AlexNet (2012)VGG (2014)GoogleNet (2014)152 layers3.57%Residual Net (2015)Taipei101101 layers16.4%7.3%6.7%Deep = Many hidden layersSpecial structure1-2 基本思想第14页/共51页 ??…………………………………………y1y2yMNeural