第三章：随机神经网络.pptVIP

第四讲随机神经网络 4.2 SA算法的模型 第四步是当新解被确定接受时,用新解代替当前解. 这只需将当前解中对应于产生新解时的变换部分予以实现,同时修正目标函数值即可. 此时,当前解实现了一次迭代.可在此基础上开始下一轮试验. 而当新解被判定为舍弃时,则在原当前解的基础上继续下一轮试验. 4.2 SA算法的模型 从算法流程上看,模拟退火算法包括三过程(函数)两准则,即 状态产生过程、 状态接受过程、 温度更新过程、 内循环终止准则和 外循环终止准则, 这些环节的设计将决定SA算法的优化性能. 其中状态产生过程和外循环终止准则根据SA算法应用于不同的领域的不同优化问题,其具体过程不同. 其它过程和准则则是SA算法的基本要素,基本不变. 4.2 SA算法的模型 A. 状态产生函数 设计状态产生函数(邻域函数)的出发点应该是尽可能保证产生的候选解遍布全部的解空间. 通常,状态产生函数由两部分组成,即产生候选解的方式和候选解产生的概率分布. B. 状态接受函数 状态接受函数一般以概率的方式给出,不同接受函数的差别主要在于接受概率的形式不同. 设计状态接受概率,应该遵循以下原则： ① 在固定温度下,接受使目标函数值下降的候选解的概率要大于使目标值上升的候选解的概率； 4.2 SA算法的模型 ② 随温度的下降,接受使目标函数值上升的解的概率要逐渐减小； ③ 当温度趋于零时,只能接受目标函数值下降的解. 状态接受函数的引入是SA算法实现全局搜索的最关键的因素. C. 温度更新函数 温度更新函数,即温度的下降方式,用于在外循环中修改温度值. 目前,最常用的温度更新函数为指数退温函数,当然还有其它不同的降温策略. 4.2 SA算法的模型 4.2 SA算法的模型 D. 内循环终止准则 内循环终止准则,或称Metropolis抽样稳定准则,用于决定在各温度下产生候选解的数目. 常用的抽样准则包括： ① 检验目标函数的均值是否稳定； ② 连续若干步的目标值变化较小； ③ 按一定的步数抽样. 4.2 SA算法的模型 E. 外循环终止准则 外循环终止准则,即算法终止准则,用于决定算法何时结束.设置温度终值是一种简单的方法. SA算法的收敛性理论中要求温度终值趋于零,这显然不合实际.通常的做法是： ① 设置终止温度的阈值； ② 设置外循环迭代次数； ③ 算法收敛到的最优值连续若干步保持不变； ④ 检验系统熵是否稳定. 4.3 SA算法的简单应用 作为SA算法应用,讨论货郎担问题(TSP): 设有n个城市,用数码1,…,n代表. 城市i和城市j之间的距离为d(i,j), i, j=1,…,n TSP问题是要找遍访每个域市恰好一次的一条回路,且其路径总长度为最短. 4.3 SA算法的简单应用 求解TSP的SA算法模型可描述如下: 解空间 解空间S是遍访每个城市恰好一次的所有回路,是{1,……,n}的所有循环排列的集合, S中的成员记为(w1,w2 ,……,wn), 并记wn+1= w1.初始解可选为(1,……,n) 目标函数 此时的目标函数即为访问所有城市的路径总长度或称为代价函数: f(w1, w2 ,…,wn)=sum(d(wj, wj+1)) 我们要求此代价函数的最小值. 4.3 SA算法的简单应用 新解的产生 随机产生1和n之间的两相异数k和m,若k<m,则将 (w1, w2 ,…,wk , wk+1 ,…,wm ,…,wn) 变为: (w1, w2 ,…,wm , wm-1 ,…,wk+1 , wk ,…,wn). 如果是k>m,则将 (w1, w2 ,…,wk , wk+1 ,…,wm ,…,wn) 变为: (wm, wm-1 ,…,w1 , wm+1 ,…,wk-1 ,wn , wn-1 ,…,wk). 上述变换方法可简单说成是“逆转中间或者逆转两端”. 4.3 SA算法的简单应用 也可以采用其他的变换方法,有些变换有独特的优越性,有时也将它们交替使用,得到一种更好方法. 代价函数差 设将(w1, w2 ,……,wn)变换为(u1, u2 ,……,un), 则代价函数差为 4.3 SA算法的简单应用 根据上述分析,可写出用SA算法求解TSP问题的伪程序: Procedure TSPSA: 　begin 　　init-of-T; { T为初始温度} 　　S={1,……,n}; {S为初始值} 　　termination=false; 　　while termination=false 　　　begin 　　　　for i=1 to L do 　　　　　begin 　　　　　　generate(S’ from S); { 从当前回路S产生新回