RBM学习方法对比.docVIP

RBM学习方法对比 　　摘 要： 随着深度学习在模型、算法与理论上的突破性进展，以玻尔兹曼机为基础的各类深度模型近年来在目标识别与自然语言处理等诸多领域得到广泛应用。概述了玻尔兹曼机的相关概念，分析了受限玻尔兹曼机模型所具有的优势。对RBM中的学习方法进行了详细的描述，对应用最为广泛的受限玻尔兹曼机的几种典型学习算法进行了对比，并指出学习算法的研究在未来仍将是深度学习中的一项核心问题。 　　关键词： 受限玻尔兹曼机； 深度模型； 隐藏单元； 学习方法 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2014）11-10-04 　　RBM learning method comparison 　　Lu Ping， Chen Zhifeng， Shi Lianmin 　　（Dept. of Information， Suzhou Institute of Trade Commerce， Suzhou， Jiangsu 215009， China） 　　Abstract： With the deep learning on the breakthrough of models， algorithms and theory studies， models based on Boltzmann machine have been used in many areas in recent years， such as target recognition and natural language processing. The concept of Boltzmann machine is presented. The restricted Boltzmann machines advantage is also pointed out. In this paper， the learning method of RBM is described in detail and some typical learning algorithms widely used are compared. The study on learning algorithms will still be a core issue in deep learning area. 　　Key words： RBM； depth model； hidden units； learning method 　　0 引言 　　当前深度学习（deep learning）作为机器学习中新兴的代表，由于其具有能够处理大规模的数据、自动提取有意义的特征、完成数以百万计的自由参数的学习等诸多浅层模型所无法匹敌的能力，而受到各领域的广泛关注。目前深度学习模型已经被逐渐应用于图像分类、目标识别、自然语言处理、数据挖掘等各类应用中。当前的深度模型，如深度信念网络（deep belief net，DBN）、深度玻尔兹曼机（deep Boltzmann machine， DBM）等均采用的是由受限玻尔兹曼机（restricted Boltzmann machine，RBM）堆叠而成。在RBM中，可见层各单元之间与隐藏层各单元之间无连接的拓朴结构使得其模型相对简单，参数学习相对容易，因此使用RBM作为构建深度模型的基础结构单元成为研究人员的最佳选择。虽然深度学习模型还有堆叠自动编码器（stacked auto encoders）、卷积神经网络（convolutional neural net，CNN）等，但由于以RBM为核心的结构在深度模型中占据着核心的地位，因此本文主要关注于RBM的模型结构与其中的学习方法。 　　1 玻尔兹曼机概述 　　1.1 玻尔兹曼机 　　玻尔兹曼机（Boltzmann machine， BM）是源于物理学的一种基于能量函数的建模方法，能够描述变量的高层相互作用。虽然BM中学习算法复杂，但其模型与算法有完备的物理解释与数理统计理论基础。Hinton与Sejnowski最早将BM模型引入人工神经网络中，用于自动提取数据的内在特征表示。将BM作为单层反馈网络时，具有与Hopfield网络类似的对称权值，且每个单元与自已无连接。网络由可见层与隐藏层组成，对应的网络节点也可以分为可见单元（visible unit）与隐藏单元（hidden unit），每个单元不存在自回路，图1给出了BM的示意图。 　　 　　图1 BM模型结构示意图 　　由于其中样本分布服从玻尔兹曼分布故命名为BM ，BM由二值单元构成，各单元的状态随机，且只可取0或1两种状态，1指代单元处于激活（on）状态，0则指代此单元处于断开（off）状态