软计算-4.ppt

二、Boltzmann Machin— 随机型神经网络 1、背景 H网的优缺点：可解组合优化问题这样的难题，但并不是总可以得到解 BM网的想法：改善H网神经元的动作，使正解率大为提高 1985年，HINTON等人把模拟退火算法引入NN中，提出了BM网络模拟退火算法： 模拟金属构件退火过程的一种算法 模拟退火算法 先用高温将金属熔化，使其中的粒子可自由运动 然后逐渐降低T，使粒子自由运动趋势减弱，形成低能态晶格 若在凝结点附近温度下降的速度足够慢，则金属或固体物质一定会形成最稳定的结构状态 在降温过程中，各个粒子都可能经历了由高能态向低能态，有时又暂时由低能态向高能态，最终趋向低能态的变化过程 用NN解组合优化问题，需要： 1）构造符合问题的能量函数E 将解代入，E取小的值，非解，则E取较大的值 2）将问题的能量函数与NN网的一般能量函数对应，求出权重与阈值 求解——对能量函数最小值的探索 H网的能量图，有多个峰、谷 作为联想记忆模型使用，多个谷与记忆内容对应，好 但对于找最小值不利，易掉入途中的谷中 由金属等的退火过程受到的启发： 神经网络的状态——金属内部的粒子 网络在各个状态下的能量函数Ei——粒子所处的能态 设置控制参数T T较大时，E由低向高变化的可能性也较大 随着T的减小，这种可能性也减小 若把该参数看作温度，则整个网络状态变化过程就完全模拟了金属的退火过程 当T下降到一定程度时，网络将收敛于能量的最小值 BM网改进 神经元的输出不仅仅受输入之和与0的大小关系的影响 而是以概率方式进行动作，这样，有时，E也可能向增加的方向进行 结果，即使落入途中的谷中，也有可能跳出，到达最小值的可能性就增大了 找到最小解的图 BM网在概率的动作上下了很大的工夫： 最初，能量向增大方向的运动得到较大的允许，E可在较大的范围内运动，寻找最小值可能的位置 逐渐，这样的随机动作被限制，E向减小的方向运动的动作占了多数，最后，容易到达最低部分 2、BM网结构及原理 BM网的结构：基本上与离散型H网相似 由N个神经元组成，每个神经元取0(-1）、1二值输出 神经元之间以对称连接权相互连接 与H网不同处 图 BM把整个神经元分为可视层与隐含层二部分，可视层又分为输入部分和输出部分，但无明显的层次界限，非单向连接 BM网算法 根据其两大用途分为： 1）工作规则 网络的状态更新规则 主要用于解组合优化问题 2）学习规则 网络连接权和输出阈值的修正规则 主要用于以网络作为一种外界概率分布的模拟机，也是BM网的一个独特的用途 BM网的工作规则 与H网十分相似。不同之处： 以概率方式取代阶跃函数方式，来决定网络根据其神经元的内部状态而进行的状态更新 有温度T，随着网络状态更新的进行而逐渐由大减小 设网络有N个神经元，各神经元之间连接权为{wij}，各神经元的输出阈值为{θi}，输出为{ui}，神经元的内部状态为{Hi} i，j=1，2，…N 取T(t=0)=T0，给{wij}, {θi} 赋 [-1，1] 内的随机值，并使wij=wji；（实际应用中，需要基于优化问题解出） 1）从N个神经元中随机选取一个神经元i 2）求神经元 i的内部状态 Hi=∑wijuj(t)-θi，j=1…n, j≠i 3）按下式所示概率将神经元 i的状态更新为1 p[ui(t+1)=1]=1/(1+exp(-Hi(t)/T)) p[ui(t+1)=0]=1 - p[ui(t+1)=1] 不同的Hi对应不同的概率 4）i以外的神经元输出保持不变 uj(t+1) = uj(t), j=1,2,…,N, j≠i 5）令 t=t+1，按下式计算新的温度参数T(t+1) T(t+1)=T0/log(t+1)——降温方案 6）返回到1），直到T Td（预先给定） T0，Td凭经验给出 现已证明，按上面降温方案，能保证网络收敛于全局最小值 缺点：收敛时间太长 快速降温方案：T(t) = T0 /（1+t） Boltzmann分布 当更新次数足够大后，网络某状态的出现概率将服从下式分布： Q(Ei) = (1/Z) exp (-Ei/T) Z=∑exp (-Ei/T) ,i=1…N ——常数，网络所有状态的能量之和为常数 Ei—状态{ui}所对应的网络能量 这就是Boltzmann分布：状态的能量越小，这一状态出现的概率就越大，即最小的能量以最大的概率出现 BM网的能量变化 H网的E变化： ΔEi=-[ui(t+1)-ui(t)]Hi(t) 当神经元i按概率p[ui(t+1)=1]在t+1时取1时： ΔEi=-[1-ui(t)]Hi(t)，该式 当Hi≥0时，ΔEi≤0 当Hi≤0时，ΔEi≥0 这在H网中是不允许的，而在BM