基于多新息理论深度信念网络算法.docVIP

基于多新息理论深度信念网络算法 　　摘要： 　　针对深度信念网络（DBN）算法在采用反向传播修正网络的连接权值和偏置的过程中，容易产生梯度小、学习率低、误差收敛速度慢等问题，提出一种结合多新息（multiinnovation）理论对标准DBN算法进行改进的算法，即多新息DBN（MIDBN）。MIDBN算法是对标准DBN算法中反向传播的过程重新建模，使得算法在原先只利用单个新息的情况下，扩展为能够充分利用之前多个周期的新息，从而大幅提高误差收敛速度。通过实验对MIDBN算法和其他分类算法进行了数据集分类的比较，实验结果表明，MIDBN算法相较其他分类算法，其误差收敛速度较快，而且最终对MNIST数据集和Caltech101数据集的识别中误差结果相对更小。 　　关键词： 　　深度信念网络算法；误差收敛速度；多新息理论；反向传播 　　中图分类号： 　　TP389.1 　　文献标志码：A 　　Abstract： 　　Aiming at the problem of small gradient， low learning rate， slow convergence of error during the process of using Deep Belief Network （DBN） algorithm to correct connection weight and bias of network by the method of back propagation， a new algorithm called MultiInnovation DBN （MIDBN） was proposed based on combination of standard DBN algorithm with multiinnovation theory. The back propagation process in standard DBN algorithm was remodeled to make full use of multiple innovations in previous cycles， while the original algorithm can only use single innovation. Thus， the convergence rate of error was significantly increased. MIDBN algorithm and other representative classifiers were compared through experiments of datasets classification. Experimental results show that MIDBN algorithm has a faster convergence rate than other sorting algorithms； especially when identifying MNIST and Caltech101 dataset， MIDBN algorithm has the fewest inaccuracies among all the algorithms. 　　英文关键词Key words： 　　Deep Belief Network （DBN） algorithm； error convergence rate； multiinnovation theory； backpropagation 　　0引言 　　深度学习[1]近几年来在人工智能领域（语音识别、自然语言处理、计算机视觉、图像与视觉分析、多媒体等）取得重要突破。深度学习中的模型有多种，有一种无监督的学习算法――深度信念网络（Deep Belief Network， DBN）学习算法[2-3]，这种方法可以创建一些网络层来检测特征而不使用带标签的数据，这些网络层可以用来重构或者对特征检测器的活动进行建模。通过预训练过程，深度网络的权值可以被初始化为有意义的值，然后一个输出层被添加到该网络的顶部，并且使用标准的反向传播算法进行微调，这个工作对手写数字的识别效果显著。 　　Hinton等[2]将DBN应用于对MNIST数据集的数字识别任务上。他提出了网络结构为784500500200010的DBN模型，其中第一层的784个特征是由MNIST数据集中图像的像素28×28而得来的，最后一层是含有标签的10个单元，中间三层是函数随机二进制神经元的隐藏层单元。Hinton在文章中提到该算法能达到1.25%的分类错误率。文献[4]在Hinton等[2]提出的标准DBN基础上改进