深度学习介绍.pptVIP

DeeplearningDeeplearning背景Deeplearning概念Deeplearning实质Deeplearning特点Deeplearning核心思想Deeplearning应用Deeplearning训练方法Deeplearning常用模型Deeplearning总结和未来

Deeplearning背景深度学习的概念由Hinton等人于2006年提出学习的概念源于人工神经网络的研究

Deeplearning背景2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。

Deeplearning概念机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断完善自身的性能的学科。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习领域中对模式（声音、图像等等）进行建模的一种方法，它也是一种基于统计的概率模型。

Deeplearning实质深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

Deeplearning特点深度学习是机器学习的一个分支。它的主要特点是通过多层次的学习而得到对于原始数据的不同抽象层度的表示，进而提高分类和预测等任务的准确性。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

Deeplearning解决问题的特征需要使用深度学习解决的问题有以下的特征：深度不足会出现问题。人脑具有一个深度结构。认知过程逐层进行，逐步抽象。

Deeplearning核心思想无监督学习用于每一层网络的pre-train；每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；用自顶而下的监督算法去调整所有层

Deeplearning应用计算机视觉语音识别自然语言处理等领域（机器翻译和语义挖掘）

Deeplearning训练方法2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x尽可能一致。方法是：1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。2）当所有层训练完后，Hinton使用wake-sleep算法进行调优。

Deeplearning训练方法deeplearning训练过程具体如下1、使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）2、自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）

DeepLearning的常用模型1、AutoEncoder自动编码器2、SparseCoding稀疏编码3、RestrictedBoltzmannMachine(RBM)限制波尔兹曼机4、DeepBeliefNetworks深信度网络5、ConvolutionalNeuralNetworks卷积神经网络

Deeplearning总结深度学习算法从原始图像去学习得到它的一个低层次表达，例如边缘检测器，小波滤波器等，然后在这些低层次表达的基础上再建立表达，例如这些低层次表达的线性或者非线性组合，然后重复这个过程，最后得到一个高层次的表达。

Deeplearning的未来深度学习目前仍有大量工作需要研究。目前的关注点还是从机器学习的领域借鉴一些可以在深度学习使用的方法，特别是降维领域。

Deeplearning的未来Deeplearning还有很多核心的问题需要解决：1、对于一个特定的框架，对于多少维的输入它可以表现得较优（如果是图像，可能是上百万维）？2、对捕捉短时或者长时间的时间依赖，哪种架构才是有效的？3、如何对于一个给定的深度学习架构，融合多种感知的信息？

Deeplearning的未