深度学习DBN深度信念网络.ppt

Belief Nets and Deep Belief Nets 数媒学院-许鹏  RBM Review 我们已经接触过了FNN,CNN和RBM,其中传统的FNN和CNN很相似,都属于前馈神经网络,而且 都是判别模型,也就是学习的模型是p(y}x),但是RBM是一个生成模型,它学习的是p(x,y)或者说 p(x),也就是RBM学习的是一个联合概率分布的模型,而FNN学习的是一个条件概率分布,它们有 着巨大的差别,甚至就是因为传统的神经网络学习的是判别模型,还导致了上个世纪90年代以后神 经网络研究的衰落,下面是神经网络衰落的两个主要原因 我们知道传统的神经网络一般都是单隐层的,最多两个隐层,而且一旦神经元个数太多,模型参数 就是迅速增长,采用随杋梯度下降的话一般很难找到最优解,甚至随着层数的增加,如果训练网络 时杈值初始化的很小,那么模型会很快的陷入局部最优解,而且是一个 poor local minima,这是神 经网络的优化问题 另外一个主要的原因就是判别模型,因为FNN是判别模型,就是即使神经网络的优化问题可以通过 些手段解决,比如替换神经元激活函数,采用ReLU单元,那么还是有问题,就是训练神经网络的 时候需要很大的标签数据,因为深度神经网络的模型参数很多,所以在训练数据少的时候很难找到 最优解,也就是深度神经网络不具备解决小样本问题的能力,所以受这些限制,深度的神经网络」 度被认为是无法训练的,而90年代出现的支持向量机很好的解决了小样本和优化问题,所以受到 们的推崇。但是 Hinton-一直没有放弃对于深层神经网络的研究,因为他觉得,支持向量机其实只是 感知机引入了一些 tricks,比如核方法很好的解决了非线性问题,但是核的选择却深深困扰着所有 的机器学习的研究者,另外最大化间隔也就是支持向量提高了模型的泛化能力,但是这些并不是提 取非线性特征最有效的方法,所以深层神经网络的研究是很有意义的 以上思想来自于 Hinton在 courser的公开课 Neural Networks for Machine Learning  RBM Review 在2006以后深度网络开始兴盛,其实主要原因是,可以解决深层神经网络的优化问题了,也就是 2006年 Hinton发的文章里面采用的训练方法,逐层训练,而在逐层训练的时侯起到最重要作用的 受限玻尔兹曼机,这样的逐层训练有什么优点那,它的优点就是很好的解决了前面提到的深层神 网络遇到的两个问题,很容易陷入局部最优和没有大量标签样本 其中的逐层训练解决了优化的问题,因为在逐层用玻尔兹曼机预训练的时候就为整个网络赋予了 较好的初始权值,使得网络只要经过微调就可以达到最优解,而不会陷)非标签数据,因为预 训练的时候是对不含标签的数据本身进行建模,其中RBM的可见单元是非标签训练数据,隐藏层 训练完以后可以看做是数据的特征,这样如果将多个RBM堆叠起来就会起到提取数据非线性特征 的效果,所以由此开始了深度学习的热潮。 Pretraining Unsupervised Learning for Generative Model Unlabeled Fine-tune S d learning for di nt Model Labeled 上面这个图其实是2006年 Hinton最开始进行深度学习时候的思想,其中堆叠RBM是核心的思想,当 然最重要的那篇论文中并没有提到判别模型,但是用生成模型一样可以做分类,以后会提到。这 整个模型中还有一个重要的知识就是信念网络,它和受限玻尔兹曼机很像,但是它是有向图,而玻 尔兹曼机是无向图,它们都是学习一个联合概率分布,下面我们讲解信念网络,这对理解DBN很重 要。而DBN可以认为是深度学习复兴的一个开始  Belief network RBM和BN都是属于概率图模型,而BN是有向图,它又叫 Bayesian networks, causal networks,在 1992年, Radford neal提出如果BN使用和RBM相同的 sigmoid激活单元,我们可以得到 Sigmoid Belief Nets。既然两者都属于生成模型,都可以对非标签数据进行建模,解决前面提到的两个问题, 那么我们该使用RBM还是BN那,亦或是两者的合体,其实 deep belief nets深度信念网络就是两者的 合体,我们已经学习了RBM,但是要理解DBN还必须理解BN,还有很长的路要走 2000 top-level units Deep belief Network h(1 500 units /w(3) (2) This could be the