RBM简介.pptVIP

1 RBM的使用说明 RBM网络结构 RBM网络有几个参数，一个是可视层与隐藏层之间的权重矩阵Wn×m，一个是可视节点的偏移量b=(b1,b2?bn)，一个是隐藏节点的偏移量c=(c1,c2?cm)，这几个参数决定了RBM网络将一个n维的样本编码成一个什么样的m维的样本。  RBM网络的功能 首先为了描述容易，先假设每个节点取值都在集合{0,1}中，即?i,j,vi∈ {0,1}，?j∈ {0,1} 。 一个训练样本x过来了取值为x=(x1,x2?xn)，根据RBM网络，可以得到这个样本的m维的编码后的样本y=(y1,y2?ym)，这m维的编码也可以认为是抽取了m个特征的样本。 隐藏节点的第j个特征的取值为1的概率为 其中的v取值就是x，hj的取值就是yj。 生成yj的过程就是： 先利用公式 ，根据x的值计算概率p(hj=1|v)，其中vi的取值就是xi的值。 然后产生一个0到1之间的随机数，如果它小于p(hj=1|v) ， yj的取值就是1，否则就是0。 反过来，现在知道了一个编码后的样本y，想要知道原来的样本x，即解码过程，跟上面也是同理，过程如下： 先利用公式 ，根据y的值计算概率p(hj=1|v)，其中hj的取值就是yj的值。 ii）然后产生一个0到1之间的随机数，如果它小于p(vi=1|h)，hi的取值就是1，否则就是0。 深度信念网络(Deep Belief Nets，DBN) 在该算法中，一个DBN被视为由若干个RBM堆叠在一起，训练时可通过由低到高逐层训练这些RBM来实现。 (1) 底部RBM以原始输入数据训练； (2) 将底部RBM抽取的特征作为顶部RBM的输入训练； (3) 过程(1)和(2)可以重复来训练所需要的尽可能多的层数。 Hinton建议，经过这种方式训练后，可以再通过传统的全局学习算法(如反向传播算法)对网络进行微调，从而使模型收敛到局部最优点。 1 受限波尔兹曼机RBM的基本模型 RBM也可以被视为一个无向图模型。v 为可见层，用于表示观测数据，h 为隐层，可视为一些特征提取器，W 为两层之间的连接权重。假设所有的可见单元和隐单元均为二值变量，即 如果一个RBM有n个可见单元和m个隐单元，用向量v和h分别表示可见单元和隐单元的状态。其中，vi表示第i个可见单元的状态，hj表示第j个隐单元的状态。对于一组给定的状态(v; h)， RBM作为一个系统所具备的能量定义为 当参数确定时，基于该能量函数，我们可以得到(v; h)的联合概率分布： 对于一个实际问题，我们最关心的是由RBM所定义的关于观测数据v的分布，即联合概率分布的边际分布，也称为似然函数： 由RBM的特殊结构(即层间有连接，层内无连接）可知：当给定可见单元的状态时，各隐单元的激活状态之间是条件独立的。此时，第j个隐单元的激活概率为 RBM的结构是对称的，当给定隐单元的状态时，各可见单元的激活状态之间也是条件独立的，即第i个可见单元的激活概率为 2 基于对比散度的RBM快速学习算法 学习RBM的任务是求出参数 的值，以拟合给定的训练数据。参数可以通过最大化RBM在训练集(假设包含T个样本)上的对数似然函数学习得到，即 下面，假设只有一个训练样本，我们分别用“data”和“model” 来简记和这两个概率分布，则对数似然函数关于连接权重Wij、可见层单元的偏置ai 和隐层单元的偏置bj 的偏导数分别为 2.1 RBM中的Gibbs采样 Gibbs是一种基于马尔可夫链蒙特卡罗策略的采样方法。对于一个K维随机向量X =(X1;X2; ;XK)，假设我们无法求得关于X的联合分布P(X)，但我们知道给定X的其他分量时，其第k个分量Xk的条件分布： 那么我们可以从X的一个任意状态 开始，利用上述条件分布，迭代地对其分量依次采样，随着采样次数的增加，随机变量 的概率分布将以n的几何级数的速度收敛于X的联合概率分布P(X)。换句话说,我们可以在未知联合概率分布P(X)的条件下对其进行采样。 随机模拟的基本思想和常用采样方法 现在假设我们有一个矩形的区域R（大小已知），在这个区域中有一个不规则的区域M（即不能通过公式直接计算出来），现在要求取M的面积？ 怎么求？近似的方法很多，例如：把这个不规则的区域M划分为很多很多个小的规则区域，用这些规则区域的面积求和来近似M，另外一个近似的方法就是采样的方法，我们抓一把黄豆，把它们均匀地铺在矩形区域，如果我们知道黄豆的总个数S，那么只要我们数数位于不规则区域M中的黄豆个数S1，那么我们就可以求