现代优化算法概要.ppt

39 * 现代优化算法——一般性描述 ——全局性优化理论的一般性描述 状态接受规则研究如何接受按照状态转移规则获得的新状态，即确定性接受还是概率性接受。确定性方式仍然是只接受更好的结果，拒绝恶化的结果。通常使用概率性方式，也有两种做法：一种是更好结果肯定接受，恶化结果按照一定概率接受；另一种是无论好恶均以一定概率接受，只是结果越好接受概率越高。不同方式对于最终结果会有不同影响。由于状态接受规则体现优胜劣汰的思想，全局优化也会陷入局部极优解，因此必须考虑多样性问题。单点法 39 * 现代优化算法——一些特例 在可行域中进行纯随机性概率搜索，将获得Monte Carlo方法，此时的状态转移完全是随机的，没有利用任何启发信息。 随机地从多个初始状态出发进行局部搜索，实际上是一种最原始的全局性和局部性优化算法的结合，即多点随机试探局部搜索法，此时的启发信息完全体现于局部搜索部分，全局性优化部分仍然是随机的和盲目的。 利用禁忌表记录曾经或已经到达过的局部极优解，下次搜索时利用该表信息不再或有选择地搜索这些点，以此跳出局部极优解，增加搜索的区域，是禁忌搜索的基本思想。显然这种搜索的效率是比较高的，但参数设置是一个需要认真研究的问题，涉及到禁忌对象、禁忌长度、候选集合、评价函数、特赦规则、终止规则等的合理确定。这里的全局性启发信息体现在禁忌表。 39 * 现代优化算法——一些特例 从可行域的某个初始状态出发，按照符合一定概率分布的状态转移规则搜索最优解，利用概率的方法接受新状态，即更好结果肯定接受，恶化结果按照一定概率接受，而且随着搜索的进行接受恶化解的概率逐渐变小，这是模拟退火的基本思想。这种搜索没有结合局部优化算法，但具有隐含的局部优化能力。需要考虑的参数包括初始温度选取、Markov链长度（平衡态判据）、温度控制策略、终止条件等。这里的启发信息体现在状态转移规则和状态接受规则，分别指导全局性优化和局部性优化。 39 * 现代优化算法——一些特例 从可行域中的多个初始状态（个体）出发进行并行搜索，在搜索过程中个体之间不断交流信息，采用概率方式接受新个体，比如赌盘形式。这是遗传算法的基本思想，采用一种群体搜索策略。这种方法具有很强的全局搜索能力和较强的局部搜索能力，自动嵌入有增加多样性的算子（交叉和变异运算），主要缺陷是容易出现“早熟”。需要考虑的因素有个体编码方式、种群规模、选择算子、交叉算子、变异算子、终止代数、适应度函数等。其启发信息在于选择方式（直接影响以后搜索的区域）、个体信息交流（模式的优化组合）等。 结论：在全局性优化算法的一般性描述下各种优化算法之间存在着密切的内在联系，是不同情况下的特殊算法。其中禁忌搜索、模拟退火属于单点法，遗传算法属于多点法，Monte Carlo方法和多点随机试探局部搜索法既可以以单点法方式进行，也可以以多点法方式进行。 39 * 内容概要 优化算法简介——运筹学 正交试验法 TABU禁忌搜索算法 模拟退火算法 遗传算法 现代优化算法再述 课题组的工作 39 * 课题组的工作——已经完成的工作 局部优化算法的改进：梯度下降法——自适应调整其学习率（步长调整） ——《模式识别与人工智能》、《系统工程与电子技术》 遗传算法的参数确定：遗传算法平均截止代数和成功率与种群规模之间的关系。 ——《系统仿真学报》（增刊） 遗传算法改进：与正交试验法相结合——正交遗传算法。 ——《电子学报》 遗传算法改进：与梯度下降法的结合——混合遗传算法。 ——《现代信息技术理论与应用——CIE-YC2002》 遗传算法改进：与小生境进化算法、聚类分析相结合。 ——《小型微型计算机系统》 39 * 课题组的工作——Publications BP小波神经网络快速学习算法研究。李金屏，王风涛，杨波。 《系统工程与电子技术》，Vol.23,No.8,2001,72-75. 遗传算法平均截止代数和成功率与种群规模之间的关系。李金屏，何苗，杨波。《系统仿真学报》(增刊),2001, Vol.13, 206-210. 提高BP小波神经网络收敛速度的研究。李金屏，何苗，刘明军，杨波。《模式识别与人工智能》, 2002, 15(1):28-35。 正交遗传算法。史奎凡，董吉文，李金屏，曲守宁，杨波。《电子学报》 ，2002，Vol.30，No.10. 利用混合遗传算法提高小波神经网络收敛速度的研究。李金屏，牛业亭，卢刚。《现代信息技术理论与应用：CIE-YC‘2002》，701-705，合肥：中国科学技术大学出版社，2002.8。 基于小生境算法和聚类分析的快速收敛遗传算法。李金屏，李素芳，杨波。《小型微型计算机系统》，2004，Vol.25，No.6。 混沌优化算法性能分析。李金屏，韩延彬，孙志胜。《小型微型计算机系统》