第6章 随机神经网络及模拟退火算法教材课程.pptVIP

第6章 随机神经网络及模拟退火算法 ;前言; 随机神经网络与其他网络的比较：; BP网络是一种“贪心”算法，容易陷入局部最小点。 Hopfield网络很难避免出现伪状态，网络是严格按照能量减小的方向运行的，容易陷入局部极小点，而无法跳出。 所以，在用BP网络和Hopfield网络进行最优化的计算时，由于限定条件的不足，往往会使网络稳定在误差或能量函数的局部最小点，而不是全局最小点，即所得的解不是最优解。 ;网络陷入局部最小点的原因主要有两点： （1）网络结构上存在着输入到输出之间的非线性函数关系，从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间。 （2）在算法上，网络的误差或能量函数只能单方向减小，不能有一点上升。; 随机神经网络的基本思想： 网络向误差或能量函数减小方向运行的概率大，同时向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向全局最小点收敛的概率最大。 ;;6.1 Boltzmann机; Boltzmann机由输入部、输出部和中间部构成。输入神经元和输出神经元可称为显见神经元，它们是网络与外部环境进行信息交换的媒介。中间部的神经元称为隐见神经元，它们通过显见神经元与外部进行信息交换。 每一对神经元之间的信息传递是双向对称的，即wij= wji ，而且自身无反馈即wii=0。学习期间，显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。 ;Boltzmann机中单个神经元的运行特性; Boltzmann机中每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入。 神经元i的全部输入信号的总和为ui为： ; 神经元的输出vi依概率取1或0： vi取1的概率： vi取0的概率： ; ;; 6.1.1 Boltzmann机的工作原理;Boltzmann机在运行时，假设每次只改变一个神经元的状态，如第i个神经元，设vi取0和取1时系统的能量函数分别为0和 ，它们的差值为ΔEi ΔEi的取值可能有两种情况:ΔEi 0或ΔEi 0。 ;;; ;;;;;;6.1.3 Boltzmann机的运行步骤;;;Boltzmann机学习需要注意几点：;;;6.1.4 Boltzmann机的学习规则;;;;;;6.2 Boltzmann机的改进; 6.2.1 确定性Boltzmann机;平均场理论;;;;确定性Boltzmann机; 确定性Boltzmann机在实际应用中需注意的两点： ;6.2.2 Sigmoid置信度网络;1. Sigmoid置信度网络的结构;;;;Sigmoid置信度网络中需注意以下两点：;2. Sigmoid置信度网络学习算法;;－―神经元i和j的平均关联wij(t)为第t步时神经元i，j的连接权值，η为学习速率，T是网络温度。 Sigmoid置信度网络在学习过程中摈弃了自由运行的过程，即网络只需在训练样本约束条件下进行学习，从而达到去除被动阶段的目的。;;;6.3 模拟退火算法;;;;;6.3.1 模拟退火原理;;;;;（3）终止温度：如果在连续的若干个温度下没有可接受的新状态，系统冻结或退火停止。 模拟退火尤其适合解决组合优化问题，下面以模拟退火算法解决组合优化问题来进一步介绍模拟退火算法的步骤。;6.3.2 模拟退火算法用于组合优化问题;模拟退火与组合优化问题的对应关系;设V={V1,V2,…,Vn}为所有可能的组合（或状态）所构成的集合。C(﹒)是V的函数，且 ，反映取状态Vi为解的代价，目标是寻找 使 模拟退火算法应用于组合优化问题的基本思想就是把每种组合状态Vi看成某一物质体系的微观状态，C(Vi)可看成该物质体系在Vi下的能量 ，温度T为控制参数。 ;;模拟退火用于组合优化问题算法实现步骤：;; 第三步：退火过程。 按照一定的降温方法得到一个新的温度T，检查T是否小于给定的温度终止阈值Tfinal。若小于，则退火过程结束，当前状态V即为算法最终输出解。若温度T大于等于给定阈值，则转至Metropolis抽样过程，在新的温度下搜索状态。 注意：在上述退火过程中，模拟退火算法是否能达到能量E的最小值，取决于T0是否足够高，和T下降得是否充分慢，以及对每个T时系统是否稳定。 ;模拟退火算法的参数控制问题;(2) 退火过程中Tfinal 的选取方法： a