卷积的深度信念网络研讨.pptVIP

Convolutional Deep Belief Network for Scable Unsupervised Learning of Hierarchical Representations 组员： 背景 深度信念网络 概念，结构，缺点 卷积的深度信念网络 关键方法，优点 Background 人们对于类似深度信念网络的无监督式分层生成模型具有极大的兴趣。 深度信念网络已经在语音识别，图像识别以及自然语言处理等领域取得前所未有的成功。 DBN对于扩展图像到原尺寸还有困难，以及图像特征表示会因输入局部变换而变换 DBN的构成 DBN 由多层神经元构成，这些神经元又分为显性神经元和隐性神经元（以下简称显元和隐元）。显元用于接受输入，隐元用于提取特征（特征检测器）。 DBN 的组成元件是受限玻尔兹曼机?(Restricted Boltzmann Machines,?RBM)。训练 DBN 的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层 (高一层) 的数据向量（一种多层生成模型）RBM的结构如图所示:?  Advantage DBN是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、分类数据，还可以用它来生成数据。如下图识别手写数字 Disadvantage 传统的多层生成模型DBN有两个方面的挑战 （1）图像时很高维度的，算法要能够合理的建模，且计算简便； （2）对象常常分布在图像的局部，要求特征表示对输入的局部变换具有不变性。 由于以上两个原因使得对高维图像做全尺寸衡量(scaling such models to full-sized)很困难 CRBN的引入 卷积的深度信念网络（CDBN）的 组成元件是卷积的受限玻尔兹曼 机（CRBM）。 右图是卷积的受限玻尔兹曼机（CRBM） 模型最下面一层为可视层V，中间一 层为检测层H，上面一层为池层。其中 检测层和池层都有K单元 相比于深度信念网络（DBN），卷积 的深度信念网络（CDBN）具有以下的 不同： （1）对高维图像做全尺寸衡量 （2）特征表示对输入的局部变换 具有不变性 （3）该方法的关键是加入了概率最 大池（probabilistic max-pooling） Pooling 为了描述大的图像，一个很自然的想法就是对不同位置的聚合特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征值的最大值，这些概要统计特征不仅具有低得多的维度，同时还会改善结果（不容易过拟合）。这种聚合的操作就叫做池化，下图为一般的池化过程： 左侧是20*20的矩阵要进行大小为 10*10的池化，那么左侧图中的红色 就是10*10的大小，对应到右侧的矩 阵，右侧每个元素的值，是左侧红色 矩阵每个元素的值取最大值。 Probabilistically Max-Pooling 最大概率池模型是一个如图的 前向结构模型，检测层和池层都 含有K组单元，池层每组都有Np*Np 个二进制单元，K属于{1,2……k}, 检测层到池层相当于C*C的块映射， 。最大概率池模型降低了图像的 维度，减少了计算量。 Advantage of CDBN 一种概率的降维技术 手段 ,网络的第一、二和 三层能够学习到边缘检 测、对象局部和对象。 谢谢！ * *