第八课 随机神经网络 人工神经网络理论及应用课件.ppt

人工神经网络理论及应用 屈桢深 哈尔滨工业大学 模拟退火物理过程 金属或固态晶体退火处理过程： 先用高温融化，使粒子自由运动； 逐渐降低温度，粒子自由运动减弱。 如在凝结点附近下降的速度足够慢，则会形成具有最低能量的基态(最稳定) 在降温过程中，粒子整体趋势：高能-低能；暂时：可能低能-高能。 模拟退火算法(SAA) 类似Hopfield网络结构， 神经元作用函数进行了扩展： T: 网络温度 退火温度 退火温度：决定了在pi0输出ui仍为1的概率 T增大, 则该概率大；T-∞, 则 意味着在温度高时，神经元(金属离子)有更多的机会状态自由运动 T减小, 则该概率小；T-0, 则 Hopfield为特例 Boltzmann分布 当网络进行状态更新，次数足够多后，则有： Jq: 网络能量，计算方法与Hopfield网络相同。 状态能量越小，出现概率越大。所以， 能量最小的状态以最大概率出现 Boltzmann机工作规则 (1) 从网络中随机选取某神经元i; (2) 求下一时刻该神经元输入和pi， (3) 按下式概率更新该神经元状态： 其余神经元状态不变 (4) 计算新的温度： (5) 返回步骤(1)，直到T小于事先给定阈值Td