《机器学习-卿来云》综述.pptVIP

* Deep Learning (DL) 成员：田莹莹 邓立曦 黄志标 马宁 一：深度学习综述 二：基于能量的模型 三：自动编码器（Auto-Encoders） 四：稀疏编码（Sparse Coding） 一、深度学习概述 定义 中心思想 深度学习的神经学启示 浅层结构 深度学习的理论基础 构建深度学习的方法 典型的深度学习结构 应用现状 1.定义 Deep Learning is set of algorithms in Machine Learning that attempt to learn layered models of inputs,commonly neural networks.The layers in such models correspond to distinct levels of concepts, where higher-level concepts are defined from lower-level ones, and the same lower-level concept can help to defined many higher-level concepts. Deep Learning is a new area of Machine Learning research, which has been introduced with the objective of moving Machine Learning closer to one of its original goals:Artifical Intelligence. Deep Learning is about learning muitiple levels of representation and abstraction that help to make sense of data such as images, sound, and text. 2.中心思想 对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达。 一般而言，深度网络的训练过程分为两部分，先通过非监督学习学习网络的结构，然后再通过监督学习学习网络的权值。 3.深度学习的神经学启示 大脑有一个深层架构 对视觉皮质的研究表明，视觉皮层包含一些列的区域，每个区域都有输入，信号流从一个区域流到下一个区域。在这种功能层次的输入代表不同层次上的输入特征，层次越高抽象性越高。 需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的。 认知过程是深度的 人类层次化地组织思想和概念，人类首先学习简单的概念，然后用他们去表示更抽象的；工程师将任务分解成多个抽象层次去处理。 视觉皮层及其对信息的处理过程 4.浅层结构 浅层结构包括传统隐马尔科夫模型（HMM）、条件随机场模型（CRFs）、最大熵模型（MaxEnt）、支持向量机（SVM）等。 共性：仅含单个将原始输入信号转换到特定问题空间特征的简单结构。 局限性：在有限的样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。 例如：多项式 可以高效低利用O(mn)运算量表示成和 积结构，但如果表示成积和结构则需要O(mn)的计算量。 5.深度学习的理论基础 局部表示 基于模板匹配的模型可认为含两层计算单元，第一层构建对输入数据进行匹配的多个模板，每一个匹配单元输出一个匹配度；第二层采用特定机制融合第一层的输出匹配度。典型基于局部匹配的例子是核方法。 其中b和ai形成第二计算层，核函数K(x,xi)将输入x匹配到训练样本xi中。 分布式表示 分布式表示是在机器学习和神经网络研究中可以处理灾难维数和局部泛化限制的一个古老的思想。 6.构建深度学习的方法 Autoencoder 利用人工神经网络的特点，给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层权重。 Sparse Coding Sparse Coding是一种利用非监督的方法来学习表示数据的过完备基的方法，它的目的是为了找到一组基向量，从而将输入表示为这组基向量的线性组合： RBM Boltzmann Machine其实是一种无向图，里面的节点互相连接，但不一定是全链接，其中有些节点值已知，有些节点值未知，把已