限制玻尔兹曼机学习笔记整理.pdfVIP

限制玻尔兹曼机 1. 预备知识 受限玻尔兹曼机（RBM）是一种可用随机神经网络来解释的概率图模型。所谓随机， 是指这种网络中的神经元是随机神经元，其输出只有两种状态 （激活、未激活），一般 用二进制的0 和1 来表示，而状态的具体取值则根据概率统计法则来决定。 1.1 Sigmoid 函数 Sigmoid 函数是神经网络中常用的激活函数 1 ( ) S x = 1 + − 其定义域为(-∞，+ ∞),值域为(0,1)。 1.2 贝叶斯定理 P(A|B,C)=P(B|A)*P(A)*P(C|A,B)/(P(B)*P(C|B)) P(A)是A 的先验概率或边缘概率。之所以称为先验是因为它不考虑任何B 方面的因素。 P(A|B)是已知B 发生后A 的条件概率，也由于得自B 的取值而被称作A 的后验概率。