第五章 随机神经网络.pptVIP

第五章 内容提要 模拟退火算法 Boltzmann机 第一节 模拟退火算法 神经计算中面临的问题 利用神经网络进行计算时，我们总是期望能通过系统状态的改变，使系统的能量函数E朝其减小的方向递减，然而这个递减过程最终所达到的一个稳定状态，往往是能量函数E的一个局部极小点，而达不到全局最优。如果利用神经网络计算求解具有多个限制条件的组合优化问题时，这个局部极小点所能满足的只是其中一些限制条件，只是达到了局部最优而不是全局最优，这当然不是我们所期望的结果，但是我们又怎样才能寻求到满足多数限制条件的全局最优点（或次优点）呢？ 物理中的退火过程 在物理学中，对固体物质进行退火处理时，通常先将它加温溶化，使其中的粒子可自由地运动，然后随着物质温度的下降，粒子也形成了低能态的晶格。若在凝结点附近的温度下降速度足够慢，则固体物质一定会形成最低能量的基态。对于组合优化问题来说，它也有类似的过程，也就是说物理中固体物质的退火过程与组合优化问题具有相似性。组合优化问题也是在解空间寻求花费函数最小（或最大）的解。 模拟退火算法的直观解释 模拟退火算法基本思想 在神经网络系统中，设系统所有可能状态为V={ｖ1，v2，…，vn}，与系统相对应有一能量E，它是系统状态的函数，即E(V)。设控制参数为温度Ｔ，我们的目的便是找到某一系统状态V*，使： 模拟退火算法的基本思想 模拟退火思想是： 让T从一个足够高的值慢慢下降，对每个T，用Metropolis抽样法在计算机上模拟该系统在此Ｔ下的热平衡状态，即对当前状态Vi经过随机扰动产生一个新状态Vj，计算系统的能量增量:ΔE=E（Vj）-E（Vi），并以概率接受Vj作为新的当前状态。当重复地如此随机扰动数次后，状态Vi又重新作为当前状态的概率将服从Boltzmann分布。 模拟退火算法的基本思想 其中： k为Boltzmann常数。 模拟退火算法基本思想 若Ｔ下降足够慢，且T→０,从上式可知，系统所处的当前状态Vi将具有最小的能量值E(Vi) 。 模拟退火算法描述 1、初始化。任给一初始状态V0，Vi=V0，计算E(V0)，将参数Ｔ置一初始温度值。 2、产生一随机扰动ΔV，按下式计算ΔE： 3、若ΔE＜０,则转5,否则在(0,1)区间上产生一个均匀分布的随机数ξ。 模拟退火算法描述 4、若 , 则转2。 5、用Vi+ΔV来取代原来的Vi，并令E=E+ΔE。 6、在该T下,检验系统是否稳定，若不稳定则转2。 7、以某一方式取T*＜T，令T=T*。 8、退火过程是否基本结束,是就停止,不是则转2。 对模拟退火算法的一些说明 在上述过程中，模拟退火是否能达到能量E的最小值，取决于T0是否足够高和T下降得是否充分慢，以及对每个T时系统是否稳定。 对模拟退火算法的一些说明 T0初始选取 1、均匀地随机抽样V，取E(V)的方差为T0。 2、在所有可能状态下，选取两个状态Vi和Vj，使差｜ΔE｜＝｜E(Vi)-E(Vj)｜最大，取T0为该量大值的若干倍。 3、由经验给出。 对模拟退火算法的一些说明 检验系统是否稳定的方法 1、检查E的均值是否稳定。 2、检查是否连续若干步中E的变化都比较小。 3、按一固定步数抽样。 对模拟退火算法的一些说明 T减小方式 令T=λT，０＜λ＜１，常数λ∈［0.8，0.99］。 算法终止方式 1、取t小于某一阈值。 2、检验系统的熵是否已达最小。 第二节 Boltzmann机 Boltzmann机简介 Boltzmann机是由Hinton和Sejnowski提出来的一种统计神经网络模型，是在Hopfield网络基础之上引入了随机性机制而形成的。与Hopfield神经网络不同的是Boltzmann机具有学习能力，即其权值通过学习来调整，而不是预先设置。Boltzmann机是一种约束满足神经网络模型。 Boltzmann机的结构 Boltzmann机的学习 当样本送入Boltzmann机的可见单元后，Boltzmann机就开始学习。Boltzmann机中的隐含单元是用来形成内部表示，以描述输入样本的规律。由于内部表达的构造过程是在无任何附加信息的状态下完成的，因而这个学习过程也称为无监督学习。设所有的权值初始值都为0。 Boltzmann机的学习过程描述 输入期 学习样本送入Boltzmann机的可见神经元，并且对每一个输入样本使用当前权值建立平衡。也就是说，从训练集合中随机挑选一样本送入可见神经元，然后让隐含神经元自由动作，这时，如果两个神经元的状态同时为1，统计它们之间连接的权值活跃的次数L1。 Boltzmann机的学习过程描述 自由运