Boltzmann机网络简介.docVIP

题目：循环网络及其应用—基于Boltzmann机网络 网络结构 伯尔兹曼机网络（Boltzmann machines，BM）在网络结构方面与Hopfield神经网络类似，网络采取有教师的学习方法，每一个神经元之间对称的反馈互联，即各对神经元之间的传输权重系数是对称的：，。但是，两者之间在运行原理方面有根本区别。 （1）Hopfield网络的神经元的结构功能，及其在网络中的地位是一样的。BM中一部分神经元与外部相连，可以起到网络的输入、输出功能，或者严格的说可以受到外部条件的约束；而另一部分神经元则不与外部相连，因而属于隐单元；BM是具有隐单元的反馈互联网络。 （2）神经元的状态为0或1的概率取决于相应的输入。 （3）学习与工作原理有其独特之处。 BM网络的神经元特性取概率阈值模型，如图1所示。对于第号神经元，它的全部输入信号的总和为，可表示如下 （1） 或者 （2） 神经元的输出为，只能取1或0，取1的概率由下式决定 （3） （4） 式（3）就是我们熟悉的Sigmoid形式，但是前面分析中常用的参数改用了字母，并且称之为温度，这与在BM的分析中将与热力学类比有关，在不同的温度下随的变化如图2所示，温度参数在BM神经网络的搜索过程中起重要的作用。 图1 BM神经元结构 图2 BM神经元的特性 2．训练方法 2.1 状态更新算法 （1）网络初始化 给初始状态赋[-1，1]之间的随机数，设定起始温度和目标温度值。 （2）求解内部状态 从N个神经元中随机选取一个神经元，根据下式求解出神经元的输入总和，即内部状态。 （5） （6） （3）更新神经元状态 根据下面的公式更新神经元的状态： （7） （8） （4） 除i外的神经元的输出状态保持不变，即除i外的神经元的状态由下面公式求解得出： 。 （9） （5） 令 ，按照下式计算出新的温度参数： （10） （6） 第（5）步计算出的温度参数是否小于目标温度，小于目标温度则算法结束，否则返回（2），进入下一轮计算。 2.2 注意事项 （1）概率阀值的确定方法 在网络初始化时按经验确定，或在运行过程中选取一个[0，0.5]之间均匀分布的随机数。 （2）网络权值的确定方法 （3）在每一温度下达到热平衡的条件 （4）降温方法 通常采用指数降温，即 为加快网络收敛速度，也可采用一个倍乘小于1的降温系数的办法。 3．相关问题算法 BM神经元网络的运行：最佳解的模拟退火法搜索 模拟退火算法是最优化处理理论和方法的一个方面，并不是在BM网络中所专有的，恰恰相反，正是由于上述的网络概率状态对参数的强烈依赖使我们自然地想到，在网络的运行过程中应先高后低以便能够在搜索速度和搜索精度两个方面得到好处，快熟而又精确地获得全局最优解。就像在所有的自适应运算中对迭代步长的处理那样。而作为热处理工艺的模拟退火方法也将工件高温加热，然后慢慢冷却，所追求的物理目的就是将工件的微观物质结构在高温下进行充分的扰动、而在降温的进程中生成微观晶格有序化的低能量状态，共同的理论思想使二者走到了一起，也是热力学理论引入信息处理领域的最初尝试和成功范例。 模拟退火算法（Simulated Annealing，SA）它由Metropolis于1953年提出，是最优化处理算法中的一种改进的蒙特—卡罗方法、包括Metropolis算法和退火过程（Annealing Procedure，AP）组成。S Kirkpatrick（1983）和V Cerny（1985）进一步发展和应用了这一方法。方法的概要是，首先在高温下进行搜索，由于此时各状态出现概率相差不大，系统可以很快进入“热平衡状态”，是一种快速找到系统概率的低能区的“粗搜索”过程。随