模式识别与机器学习报告.docVIP

课 程 模式识别与机器学习 题 目 卷积的深度信念网络 学 院 自动化学院 专 业 控制科学与工程 学 号 2111404114 姓 名 谢晶梅 指导教师 何昭水 （201 5 年 06 月） 基于分层表示的无监督学习的卷积深度信念网络 引言：机器学习研究的主要任务是设计和开发计算机可以智能地根据实际数据进 行“学习”的算法，从而使这些算法可以口动地发现隐藏在数据中的模式和规律。 当前的深度模型，如卷积的深度信念网络(Convolutional Deep Belief Network, RDBN)深度信念网络(deep belief net, DBN)、深度玻尔兹曼机(deep Boltzmann machine , DBM ) 等均采用的是由受限玻尔兹曼机(restricted Boltzmann machine , RBM )堆叠而成。在RBM中，可见层各单元之间与隐 藏层各单元Z间无连接的拓朴结构使得其模型相对简单，参数 学习相对容易，因此使用RBM作为构建深度模型的基础结构单 元成为研究人员的最佳选择.本论文中我们采用的是基于分层表示的无监督学习 的卷积深度信念网络，他是-?种概率的降维技术手段，网络的第一、二和三层能 够学习到边缘检测、对象局部和对象。 关键词：受限玻尔兹曼机；深度模型；隐藏单元；学习方法；卷积的深度信 念网络 受限玻尔兹曼机 RBM具冇二分图结构，且两层结点分别为可视单元(visible units)和隐藏单元 (hidden units) o每个可视单元描述了观察数据的一个方面或是一个特征，如对 于黑白图片而言，一个可视单元可能描述的就是图片某处是否为白色。而隐藏单 元的意义一般來说并不明确，也无法人为指定，往往是通过机器学习用算法按照 某种最优的方式口动决定的。因此，RBM也具备特征抽取1的功能——隐藏单 元作为抽取得到的特征。虽然多数时候这些特征对人而言都是无法理解的，但从 统计意义上讲一定是有道理的。在最基本的RBM中，这两种单元均为二元取值 ——即，每个单元可能的状态仅有两个，一般表示为0和1, 0表示未激活，1 表示激活。所谓的激活，即是说该单元所代表的意义是成立的。不同于传统的第 二代神经网络，RBM中存在随机因素，所有单元的取值构成了 RBM的一个状 态，并且这些状态服从一定的分布o Smolensky捉出了受限玻尔兹曼机 (restricted Boltzmann machine, RBM)模型，其结构如图 2 所示。与一般 BM 相 比，RBM具有更优的性质：在给定可见层单元输入时，各隐藏层单元的激 活条件独立；反之亦然。这样尽管RBM所表示的分布仍无法冇效计算，但 却可以通过Gibbs采样获得服从RBM分布的随机样本。图2 RBM模型结构示 意图RBM也可以被看作为一个无向图(undirected graph)模型，其屮v为可见 层，用于表示输入数据，h为隐藏层，可以看作为特征提取器，W为两层 间对称的连接权重。若一个RBM屮可见层单元数为n,隐藏层单元数为m, 用向量V与h分别表示可见层与隐藏层的状态，当状态(v,h)给定时，与BM 类似，则RBM中的能量定义为： hidden unitsvisible units hidden units visible units n m n m E(v,h I e)二 - -￡bjhj -￡￡vjWjjhj i=1 j=1 i=1 j=1 其屮wij为可见单元i与隐藏单元j Z间的连接权重，ai为可见单元i的偏置, bj为隐藏单元j的偏置。0={wij,ai,bj}指代RBM中所有参数集。当。确定 吋，则可根据式⑺的能量函数获得(v,h)的联合概率为： p(v,hie)=-E(v,hl9) p(v,hie)= ^,z(e) = g-E(v,hie) 其屮z(0 )为保证P(v,h| 0 )成为概率分布的归一化项，也称为划分函数。若可 见单元服从某种概率分布，根据RBM的给定可见单元时各隐藏单元激活状态 独立的条件，可获得隐藏单元为1的条件概率为： m P(hlv,0)= JJp(h1lv,9) j=1 同理，若令隐藏单元服从某种概率分布，可见单元向量v为1的条件概率分 布为： p(vih,e) = jjp(vjih,e) 1—1 因此可以获得在给定可见单元向量V时隐藏单元j的条件概率及给定隐藏单元 向量h时可见单元i为1的条件概率分布为： p(hj=iiv,e)M(bj+￡? 叫) is1 m 口 x) = 7——r ： -其中 丄+ e f 为sigmoid激活函数。 深度信念网络（DBNs）的模型和方法 DBNs是一个概率生成模型，一个多随机变量的有向图，可以看作是多个 RBM的叠加，在DBNs屮，靠近可视层的那一层网络使用的