深度学习汇报(精品·公开课件).pptVIP

应用 */25 深度学习的应用： 1、深度学习在图像识别上的应用 空间金字塔 实验在Caltech 256数据集上，利用单特征识别，Sparse CRBM性能最优。 应用 */25 应用 */25 2、深度学习在音频识别上的应用 许多专家还发现，不仅图像存在这个规律，声音也存在。他们从未标注的声音中发现了20种基本的声音结构，其余的声音可以由这20种基本结构合成。 应用 */25 3、深度学习在视频识别上的应用 4、深度学习在自然语言处理上的应用 5、深度学习在多模态学习中的应用 6、深度学习在多任务学习中的应用 7、基于深度学习的迁移学习应用 8、深度学习在大尺度数据集上的应用 目前的困难程度 */25 深度学习面临的问题： 1、理论问题 理论问题主要体现在两个方面，一个是统计学方面的，即需要多少训练样本才能学习到足够好的深度模型；另一个是计算方面的，即需要多少的计算资源才能通过训练得到更好的模型，理想的计算优化方法是什么？ 2、建模问题 针对具体应用问题，如何设计一个最合适的深度模型来就解决问题？是否可以建立一个通用的深度模型或深度模型的建模语言，作为统一的框架来处理语音、图像和语言？ 另外，对于怎么用深度模型来表示像语义这样的结构化的信息还需要更多的研究。 3、工程问题 对于互联网公司而言，如何在工程上利用大规模的并行计算平台来实现海量数据训练，这是首要解决的问题。 目前的困难程度 */25 未来需解决的问题： （1）对于一个特定的框架，对于多少维的输入它可以表现得较优（如果是图像，可能是上百万维）？ （2）对捕捉短时或者长时间的时间依赖，哪种架构才是有效的？ （3）如何对于一个给定的深度学习架构，融合多种感知的信息？ （4）有什么正确的机理可以去增强一个给定的深度学习架构，以改进其鲁棒性和对扭曲和数据丢失的不变性？ （5）模型方面是否有其他更为有效且有理论依据的深度模型学习算法？ Thank You */25 深度学习（Deep Learning） */25 Outline 概念 基本学习算法 应用 目前的困难程度 */25 深度学习的概念 */25 什么是deep learning? 深度学习：一种基于无监督特征学习和特征层次结构的学习方法。 本质：通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 含多隐层的多层感知器就是一种深度学习结构。 DL训练过程 */25 深度学习的基本思想： 对于Deep Learning，需要自动地学习特征，假设有一堆输入I，输出是O，设计一个系统S（有n层），形象地表示为： I =S1=S2=.....=Sn = O，通过调整系统中参数，使得它的输出仍然是输入I，那么就可以自动地获取得到输入I的一系列层次特征，即S1，..., Sn。 深度学习训练过程： 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 DL训练过程 */25 wake-sleep算法: 1）wake阶段： 认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。 2）sleep阶段： 生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。 DL训练过程 */25 ?第二步：自顶向下的监督学习?????? 这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。 DL模型 */25 深度学习的具体模型及方法： 1、自动编码器（ AutoEncoder ） 2、稀疏自动编码器(Sparse AutoEncoder) 3、限制波尔兹曼机（Restricted Boltzmann Machine） 4、深信度网络（Deep Belief Networks） 5、卷积神经网络（Convolutional Neural Networks） 自动编码器 */25 1、自动编码器（ AutoEncoder ） 将input输入一个encoder编码器，就会得到一个code，这个cod