人工神经网络7Boltzma.pptxVIP

1;2;随机神经网络;随机神经网络;BP网络是一种“贪心”算法，容易陷入局部最小点。 Hopfield网络很难避免出现伪状态，网络是严格按照能量减小的方向运行的，容易陷入局部极小点，而无法跳出。 所以，在用BP网络和Hopfield网络进行最优化的计算时，由于限定条件的不足，往往会使网络稳定在误差或能量函数的局部最小点，而不是全局最小点，即所得的解不是最优解。 ;随机神经网络;随机神经网络;模拟退火算法(Simulated Annealing)来源于固体退火原理，将固体加温至充高，再让其徐徐冷却，加温时，固体内部粒子随温度升高变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。 它由Metropolis算法和退火过程(Annealing Procedure，AP)组成。;模拟退火算法的基本思路;模拟退火算法的基本思路;模拟退火算法的基本思路;模拟退火算法的基本思路;模拟退火概念;模拟退火算法的基本思路;模拟退火与传统迭代最优算法的比较： (1)当系统在非零温度下时，从局部最优中跳出是非常可能的，因此不会陷入局部最优。 (2)系统最终状态的总特征可以在较高温度下看到，而状态的好的细节却在低温下表现，因此，模拟退火是自适应的.。; 1. Metropolis抽样过程 ; 1. Metropolis抽样过程 假定一随机变量在某一时刻的状态为vi。在另一时刻的状态为vj。假设这种状态的转移满足以下条件： ΔE表示系统从状态vi转移至状态vj所引起的能量差。 如果能量差ΔE为负，这种转移就导致状态能量的降低，这种转移就被接受。接下来，新状态作为算法下一步的起始点。;模拟退火算法原理;模拟退火算法原理;模拟退火算法原理;模拟退火算法原理;模拟退火算法原理;许多工程上和理论上的问题，其目标都是在一个很大的解空间中寻求一个最优解，这些问题统称为组合优化问题。 在许多组合优化问题中，一个解通常是满足一定规则的一些离散对象的排列，所有这些解的集合叫做解空间。通常用一个“代价函数”C(x)来衡量一个解的优劣，目标就是选择一个解使其代价函数C(x)最小，如TSP问题、大规模集成电路布局布线问题等。 ;15 一月 2023;设V={V1,V2,…,Vn}为所有可能的组合（或状态）所构成的集合。C(﹒)是V的函数，且 ，反映取状态Vi为解的代价，目标是寻找 使 模拟退火算法应用于组合优化问题的基本思想就是把每种组合状态Vi看成某一物质体系的微观状态，C(Vi)可看成该物质体系在Vi下的能量 ，温度T为控制参数。 ;让T从一个足够高的值慢慢下降，对于每个T，对当前状态V作随机扰动产生一个新状态V’，计算其增量ΔC=C(V)-C(V’’)，并以概率e-ΔC/kT接受V’作为新的当前状态。根据统计力学的知识，当重复如此随机扰动足够次数后，状态Vi的出现概率如下： ;第一步：初始化。依据所要解决的组合优化问题，确定代价函数C(﹒)的表达式，随机选择初始状态V=V(0)，设定初始温度T0，终止温度Tfinal，概率阈值ξ。 第二步：Metropolis抽样过程 （1）在温度T下依据某一规定的方式，根据当前解所处的状态V，产生一个近邻子集N(V)（可包括V，也可不包括V），在N(V)内随机寻找一个新状态S’作为下一个当前解的候选解，计算ΔC’=C(V’’)-C(V)。 ;模拟退火求解组合优化问题;模拟退火求解组合优化问题;（1）T0的选择方法： a. 均匀随机抽样{Vi}，取此时C(Vi)的方差为T0 b. 在所有可能的组合状态中，选两个状态使ΔC’ 最大，取T0为ΔC’的若干倍； c. 按经验给出。 ;模拟退火参数控制;模拟退火参数控制;模拟退火参数控制;模拟退火参数控制;模拟退火参数控制;模拟退火参数控制;模拟退火参数控制;Boltzmann机;Boltzmann机;40;Boltzmann机的网络结构;15 一月 2023;Boltzmann机中每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入。 神经元 i 的全部输入信号的总和为 ui为： ;神经元的输出 vi 依概率取1或0 vi取1的概率： vi取0的概率： ;p~u的关系;可见，T 越高时，曲线越平滑，因此，即使ui有很大变动，也不会对vi取1的概率变化造成很大的影响；反之，T 越低时，曲线越陡峭，当ui有稍许变动时就会使概率有很大差异。即温度高时状态变化接近随机，随着温度的降低向确定性的动作靠近。 当T→0时，每个神经元不再具有随机特性，而具