9.第10章随机神经网络.pptVIP

谢谢大家！ * * 第10章 随机神经网络 编 者 Outline 1.模拟退火算法 2.Boltzmann机 3.Sigmoid置信度网络 4.MATLAB模拟退火算法工具 5.模拟退火算法求解TSP问题 1.模拟退火算法 随机神经网络的核心思想，就是在网络中加入概率因素，网络并不是确定地向能量函数减小的方向演化，而是以一个较大的概率向这个方向演化，以保证迭代的正确方向，同时向能量函数增大的方向运行的概率也存在，以防止陷入局部最优。 随机神经网络与模拟退火算法关系密切。 模拟退火算法是非凸问题寻优的一种重要工具 考虑如下问题：自变量可取的值为区间 ，在这个区间上定义了一个函数，求其最小值。函数的计算方式比较复杂，无法直接通过微分等符号数学的手段求出，只能通过计算给出一个数值解。 1.模拟退火算法 1.穷举 。效率极低；函数是连续的，穷举不可实现 2.搜索 ：盲目搜索、启发式搜索 盲目搜索只适用于求解比较简单的问题。盲目搜索按照预定的控制策略实行搜索，没有利用搜索过程中的中间信息。最常见的盲目搜索算法如广度优先搜索、深度优先搜索以及相同代价搜索、迭代加深等。 启发式搜索需要用到启发信息，启发信息时为减小搜索范围而需要利用的已知有关具体问题领域的信息。典型的启发式搜索如遗传算法、蚁群算法、粒子群算法等。模拟退火算法就是一种启发式算法。 1.模拟退火算法 较简单的启发式搜索算法如贪心算法和爬山法。在爬山法中，系统从某个初值x0开始搜索，在每一个值附近随机产生一系列新的值x01,x02,…，然后代入函数进行计算，得出这些值中最优的一个x0i，如果f(x0i)f(x0)，则说明x0i优于x0，就用x0i作为当前最优值，否则维持不变 . 在一段单调性明显的区间中，这种算法能很快收敛于该区间的最优值。但有两个严重的问题制约了爬山法的性能 对初值敏感。不同的初值可能导致完全不同的结果。 容易陷入局部最优，而且容易停滞在平坦区。 模拟退火算法（Simulated Annealing，SA）能有效解决上述问题。 1.模拟退火算法 “退火”是物理学术语，指对物体加温后再冷却的过程。模拟退火算法源于晶体冷却的过程，如果固体不处于最低能量状态，给固体加热再冷却，随着温度缓慢下降，固体中的原子按一定形状排列，形成高密度低能量的有规则晶体，在算法中对应全局最优值。而如果温度下降过快，可能导致原子缺少足够的时间排列成晶体结构，结果产生了具有较高能量的非晶体，这就是局部最优值。 以概率来接受新状态，而不是使用完全确定的规则，称为Metropolis准则，可以显著减小计算量 当状态转移之后，如果能量减小了，那么这种转移就被接受了（以概率1发生）。如果能量增大了，就说明系统偏离全局最优位置（能量最低点）更远了，此时算法不会立即将其抛弃，而是进行概率操作首先在区间产生一个均匀分布的随机数x，如果xp，这种转移也将被接受，否则拒绝转移 1.模拟退火算法 直接使用上述算法可能会导致寻优的速度太慢，以至于无法实用。采用一个退火温度表 ： （1）温度的初始值，初始温度应选得足够高，使得所有可能的状态转移都能被接受。 （2）退火速率。最简单的速率下降方式是指数式下降 （3）终止温度 1.模拟退火算法 模拟退火算法的运行步骤 （1）初始化 。随机选择一定的值作为变量的初值，并设置初始温度，终止温度和温度的下降公式及相应的参数 （2）运行算法 。以一定规则在当前状态附近产生新的状态 ，计算 更新 计算 产生一个随机数 若 则接受 （3）根据内循环终止准则，检查是否达到热平衡。 （4）按照公式调整温度，根据外循环终止准则检查退火算法是否收敛。 外循环终止的准则也可以设置为固定的迭代次数，达到该次数以后系统即停止计算。如果系统的熵值已经达到最小，此时可以认为已经达到了最低温度。或者连续降温若干次，代价函数都没有改善，也可以作为达到终止温度的判据。 2.Boltzmann机 Boltzmann机得名的原因是，它将模拟退火算法反复更新网络状态，网络状态出现的概率将服从Boltzmann分布，即最小能量状态的概率最高，能量越大出现的概率越低。 Boltzmann机的神经元分为可见神经元和隐藏神经元，与输入输出有关的神经元为可见神经元，隐藏神经元需要通过可见神经元才能与外界交换信息。 2.Boltzmann机 类比： 在起伏的曲面上扔下一个小球，使小球落到整个曲面的最低处 。