deep learning 知识总结.docVIP

机器学习——深度学习(Deep Learning) 分类： Machine Learning2012-08-04 09:4988415人阅读评论(55)收藏举报 algorithmclassificationfeaturesfunctionhierarchy Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。  Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，  1. 有监督学习和无监督学习  给定一组数据(input，target)为Z=(X，Y)。 有监督学习：最常见的是regression classification。 regression：Y是实数vector。回归问题，就是拟合(X，Y)的一条曲线，使得下式cost function L最小。  classification：Y是一个finite number，可以看做类标号。分类问题需要首先给定有label的数据训练分类器，故属于有监督学习过程。分类问题中，cost function L(X,Y)是X属于类Y的概率的负对数。 ，其中fi(X)=P(Y=i | X);  无监督学习：无监督学习的目的是学习一个function f，使它可以描述给定数据的位置分布P(Z)。 包括两种：density estimation clustering. density estimation就是密度估计，估计该数据在任意位置的分布密度 clustering就是聚类，将Z聚集几类（如K-Means），或者给出一个样本属于每一类的概率。由于不需要事先根据训练数据去train聚类器，故属于无监督学习。 PCA和很多deep learning算法都属于无监督学习。   2. 深度学习Deep Learning介绍 Depth 概念：depth: the length of the longest path from an input to an output. Deep Architecture 的三个特点：深度不足会出现问题；人脑具有一个深度结构（每深入一层进行一次abstraction，由lower-layer的features描述而成的feature构成，就是上篇中提到的feature hierarchy问题，而且该hierarchy是一个稀疏矩阵）；认知过程逐层进行，逐步抽象 3篇文章介绍Deep Belief Networks，作为DBN的breakthrough  3.Deep Learning Algorithm 的核心思想： 把learning hierarchy 看做一个network，则 ①无监督学习用于每一层网络的pre-train； ②每次用无监督学习只训练一层，将其训练结果作为其higher一层的输入； ③用监督学习去调整所有层 这里不负责任地理解下，举个例子在Autoencoder中，无监督学习学的是feature，有监督学习用在fine-tuning. 比如每一个neural network 学出的hidden layer就是feature，作为下一次神经网络无监督学习的input……这样一次次就学出了一个deep的网络，每一层都是上一次学习的hidden layer。再用softmax classifier去fine-tuning这个deep network的系数。   这三个点是Deep Learning Algorithm的精髓，我在上一篇文章中也有讲到，其中第三部分：Learning Features Hierachy Sparse DBN就讲了如何运用Sparse DBN进行feature学习。  4. Deep Learning 经典阅读材料： The monograph or review paper Learning Deep Architectures for AI (Foundations Trends in Machine Learning, 2009). The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references. The LISA public wiki has a reading list and a bibliography. Geoff Hinton has readings from last year’s NIPS tutori