深度学习与信号处理： 原理与实践 课件 第8章-深度受限玻尔兹曼机.pptx

第8章深度受限玻尔兹曼机8.1玻尔兹曼机8.2稀疏受限玻尔兹曼机及竞争学习8.3分类受限玻尔兹曼机8.4(2D)2PCA受限玻尔兹曼机8.5受限玻尔兹曼机的步态特征提取及其识别

深度玻尔兹曼机是一种以受限玻尔兹曼机(RestrictedBoltzmannMachine,RBM)为基础的深度学习模型，其本质是一种特殊构造的神经网络。深度玻尔兹曼机由多层受限玻尔兹曼机叠加而成的，中间层与相邻层是双向连接的。第8章深度受限玻尔兹曼机

随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态转移。神经元的净输入不能决定其状态取１还是取０，但能决定其状态取１还是取０的概率。这就是随机神经网络算法的基本概念。玻尔兹曼机(BoltzmannMachineBM)是一种结合模拟退火思想的随机神经网络，与其他神经网络的主要区别如下：学习(训练)阶段运行(预测)阶段随机网络不像其他网络那样基于某种确定性算法调整权值，而是按某种概率分布进行修改；

8.1.1BM网络结构及运行原理BM机的结构介于离散型Hopfield神经网络(DiscreteHopfiledNeuralNetworkDHNN)全互连与BP网络的层次结构之间。BM网络结构形式上，与单层反馈网络DHNN相似，权值对称且自身无反馈；功能上，与三层BP网相似，具有输入神经元（或节点）、输出节点和隐层神经元。一般把输入与输出节点称为可见神经元，隐节点称为不可见神经元，训练时输入输出节点收集训练样本，而隐节点主要起辅助作用，用来实现输入输出之间的联系，使得训练集能在可见单元再现，如图所示。BM机的3类神经元之间没有明显的层次。１.结构

2.运行原理

BM网络中每个神经元的兴奋或抑制具有随机性，其概率取决于输入的神经元。设BM网络中单个神经元的形式化描述，如图所示。单个神经元设BM网络中单个神经元的净输入为为输入层第i个输入，为神经元j与神经元i之间的连接权，为偏置。与DHNN不同的是，净输入并不能通过符号转移函数直接获得确定的输出状态，实际的输出状态将按照某种概率发生，神经元j输出依概率取1或0。取1的概率为状态为0的概率就用1减去即可。

温度T对概率的影响净输入越大，神经元状态取１的概率越大；净输入越小，神经元状态取０的概率越大。而温度T的变化可改变概率曲线的形状。当温度T较高时，概率曲线变化平缓，对于同一净输入得到的状态为0或1的概率差别小；而温度低时，概率曲线陡峭，对于同一净输入状态为1或0的概率差别大；当T=0时，概率函数退化为符号函数，神经元输出状态将无随机性。

8.1.2网络能量函数与搜索机制BM机采用与DHNN网络相同的能量函数描述网络状态，即设BM机按异步方式工作，每次第j个神经元改变状态，根据能量变化公式为(1)当净输入大于0时，状态为1的概率大于0.5。若原来状态，则，从而；若原来状态，则，从而，能量下降；(2)当净输入小于0时，状态为1的概率小于0.5。若原来状态，则，从而；若原来状态，则，从而，能量下降；

8.1.2网络能量函数与搜索机制以上各种可能的情况表明，对于BM机，随着网络状态的演变，从概率意义上网络的能量总是朝着减小的方向变化。这就意味着尽管网络能量的总趋势是朝着减小的方向演进，但不排除在有些神经元状态可能会按照小概率取值，从而使网络能量暂时增加。正是因为有了这种可能性，BM机才具有从局部极小的低谷中跳出的“爬山”能力，这一点是BM机与DHNN网能量变化的根本区别。由于采用神经元状态按概率随机取值的工作方式，BM机具有不断跳出位置较高的低谷搜索位置较低的新低谷的能力。这种运行方式称为搜索机制，即网络在运行过程中不断地搜索更低的能量极小值，直到达到能量的全局最小。从模拟退火的原理可以看出，温度T不断下降可使网络＂爬山＂能力由强减弱，这正是保证BM机能成功搜索到能量全局最小的有效措施。

8.1.3Boltzmann分布设时对应的网络能量为，时网络能量为，当由1变为0时，有，于是；对应的状态为1或状态为0的概率为将上式推广到网络中任意两个状态出现的概率与之对应能量之间的关系，有

8.1.3Boltz