【精品】提出了玻尔兹曼机BM是典型的随机神经网络.ppt

* * 第七章Simulated Annealing  Boltzmann Machines * 一、概 述 1985年，Hinton 提出了玻尔兹曼机。BM是典型的随机神经网络，它借鉴了统计物理学思想。神经元状态变化引入了统计概率；网络的平衡状态服从Boltzmann 分布；网络运行机制基于模拟退火算法。 前述的网络学习都只允许网络的误差或能量函数梯度下降。这是一种确定型的“贪婪”搜索法，易于陷入局部最小。玻尔兹曼机神经元状态变化引入了统计概率和模拟退火方法，是一种很好的全局最优搜索算法。 * 概 述 Discrete Hopfield NN Simulated Annealing + Boltzmann Machine Hopfield网的一种扩展： Hopfield model + hidden units + simulated annealing * T=0 T=1 T=2 T=3 T=? 概 述 神经元状态改变的对比 Discrete Hopfield Boltzmann Machine * 概 述 基于梯度下降法的确定性网络的关键问题易于陷入local minimal 。 问题的根源：学习中，每次迭代都只能改善解，不允许破 坏解。或者说，E（能量/误差）只能减少， 不能增加： 对策：适当允许 E 可以一定的概率增大，以摆脱 局部最优。 如何适当：基于模拟退火下的随机“热”扰动 * Simulated Annealing 热平衡和Boltzmann分布 统计热力学的热平衡理论表明：在多粒子系统中, 每个粒子可以改变其状态。虽然系统的确切状态和能量是很难测试的，但温度T时的热平衡满足Boltzmann分布： 其中 是状态A对应的能量 是系统处于状态A的概率 K 是玻尔兹曼常数 如果忽略K,并用T作为人工温度，则有： Z : Boltzmann partition function * Simulated Annealing Boltman 分布也常用相对概率来描述： EA和 EB分别是状态A 和状态B 时的能量 Boltzmann distribution: accept “bad move” with ?E〉0 (goal is to minimize E) with probability P(?E) = exp(?E/T) Boltzmann机不是直接收敛于一个能量最小的状态，而是收敛于平 衡态 平衡态：网络的各个状态会以不同的概率出现。或者说，平衡态 中，神经元的状态仍不断变化，但状态的概率分布不变。 * Simulated Annealing 中温情况下： T比较小，E的大小对P(E)有较大的影响 。 设 E1E2 则P(E2)P(E1)。即，系统处于高能量状态的可能性小于处于低能量状态的可能性 低温情况下： T非常小，E的大小对P(E) 的影响非常大 ， 设E1E2 ，P(E2) P(E1) 。即，当温度趋近于0时，系统几乎不可能处 于高能量状态 温度与玻尔兹曼分布 高温情况下： T足够大，概率分布对一定范围内的能量E没有显著差别，即出现各种能量状 态的概率差别不大，或者说，高能状态也以高概率出现。 极端情况下有： 1 * Simulated Annealing Metropolis algorithm Metropolis algorithm 是一种改进的Monte Carlo随机方法，在充分迭代的基础下，以保证某个温度下的热平衡。 它给出了在某个温度下随机扰动产生的新状态的接受原则─结合爬山法和随机行走。 是模拟退火过程的基础。在退火过程中，在每个温度下需进行Metropolis algorithm * Simulated annealing set T optimize for given T lower T repeat Geman Geman (1984): if T is lowered sufficiently slowly (with respect to the number of iterations used