深度学习解决方案.ppt

RBM介绍 RBM区别于BM的一点是，前者要求层内神经元之间没有连接，而后者允许层内连接 定义能量函数 联合概率分布 性质：给定可见层时，隐藏层神经元激活条件独立；反之亦然 给定训练样本训练一个RBM意味着调整参数以拟合给定训练样本。数学推导可知，该问题等价于求下述函数最大值 假设每个节点取值都在集合 0,1 中，即?i, j, vi∈ 0,1 ,hj∈ 0,1 。 DBN 对于给定的x x1, x2 ? xn ，隐藏节点的第 j 个特征的取值为 1 的概率为 P hj 1|v σ ∑ wij× vi+ cj 其中的 v 取值就是 x，hj 的取值就是 yj，也就是说，编码后的样本 y 的第 j 个位置的取值为 1 的概率是p hj 1|v 。所以，生成 yj 的过程就是： i） 先利用公式p hj 1|v σ ∑ wij× vi+ cj ，根据 x 的值计算概率p hj 1|v ， 其中 vi 的取值就是 xi 的值。 ii） 然后产生一个 0 到 1 之间的随机数，如果它小于p hj 1|v ， yj 的取值就是 1，否则就是 0。 DBN 反过来，现在知道了一个编码后的样本 y，想要知道原来的样本 x，即解码过程，跟上面也是同理，过程如下： i）先利用公式p vi 1|h σ ∑ wji× hj+ bi ，根