第十章现代优化计算简介.ppt

13.4 神经网络权值的混合优化学习策略 ② 交叉操作。由于采用实数编码，故选择算术交叉算子。父代中的个体 和 以交叉概率 进行交叉操作，可产生的子代个体为 和 其中，a为参数 。 13.4 神经网络权值的混合优化学习策略 ③ 变异操作。采用均匀变异算子。个体 的各个基因位以变异概率 发生变异，即按概率 用区间 中的均匀分布随机数代替原有值。 ⑹ 引入最优保留策略。 ⑺ 对群体中每一个个体引入模拟退火操作。 13.4 神经网络权值的混合优化学习策略 ①利用SA状态产生函数产生新基因值 ， ，其中 为随机扰动。 ② 计算 的目标函数值与 的目标函数值之差 。 ③ 计算接受概率 。 13.4 神经网络权值的混合优化学习策略 ④ 若 ，则取 ；否则 保持不变。 ⑤ 引入最优保留策略。 ⑥ 利用退温函数 进行退温，其中 为退温速率。 13.4 神经网络权值的混合优化学习策略 ⑻ 判断满足遗传算法操作终止条件否？不满足则转步骤⑷。否则转步骤⑼。 ⑼ 将遗传算法搜索的最优个体解码，赋值给神经网络权重(包括节点阈值)。 13.5 应用举例 略。 13.3 模拟退火算法 Metropolis等在1953年提出了重要性采样法，即以概率接受新状态。具体而言，在温度t，由当前状态i产生新状态j，两者的能量分别为 ，若 ，则接受新状态j为当前状态；否则，若概率 大于 区间内的随机数，则仍旧接受新状态j为当前状态，若不成立则保留i为当前状态，其中k为Boltzmann常数。 13.3 模拟退火算法 这种重要性采样过程在高温下可接受与当前状态能量差较大的新状态，而在低温下基本只接受与当前能量差较小的新状态，而且当温度趋于零时，就不能接受比当前状态能量高的新状态。这种接受准则通常称为Metropolis准则。 13.3 模拟退火算法 2.模拟退火算法的基本思想和步骤 1983年Kirkpatrick等意识到组合优化与物理退火的相似性，并受到Metropolis准则的启迪，提出了模拟退火算法。模拟退火算法是基于Monte Carlo 迭代求解策略的一种随机寻优算法，其出发点是基于物理退火过程与组合优化之间的相似性，SA由某一较高初温开始，利用具有概率突跳特性的Metropolis抽样策略在解空间中进行随机搜索，伴随温度的不断下降重复抽样过程，最终得到问题的全局最优解。 13.3 模拟退火算法 标准模拟退火算法的一般步骤可描述如下： ⑴给定初温 ，随机产生初始状态 ，令 ； ⑵Repeat: ①Repeat 产生新状态 ； 13.3 模拟退火算法 Until 抽样稳定准则满足； ②退温 ，并令 ； Until 算法终止准则满足； ⑶输出算法搜索结果。 13.3 模拟退火算法 3.模拟退火算法关键参数和操作的设定 从算法流程上看，模拟退火算法包括三函数两准则，即状态产生函数、状态接受函数、温度更新函数、内循环终止准则和外循环终止准则，这些环节的设计将决定SA算法的优化性能。此外，初温的选择对SA算法性能也有很大影响。 13.3 模拟退火算法 ⑴状态产生函数 设计状态产生函数（邻域函数）的出发点应该是尽可能保证产生的候选解遍布全部的解空间。通常，状态产生函数由两部分组成，即产生候选解的方式和候选解产生的概率分布。 13.3 模拟退火算法 ⑵状态接受函数 状态接受函数一般以概率的方式给出，不同接受函数的差别主要在于接受概率的形式不