第8章 布估计算法.pptVIP

第8章分布估计算法 目录 分布估计算法的思想起源 什么是分布估计算法? Estimation of Distribution Algorithm (EDA) 基于种群的新型进化算法 思想起源于遗传算法 算法的思想起源 改进遗传算法的交叉操作和变异操作,防止破环积木块. 采用概率模型和抽样的隐式形式产生新个体. 分布估计算法与遗传算法的流程比较 分布估计算法的发展历史 分布估计算法的发展历史 混合分布估计算法 EDA与粒子群优化的混合 EDA与遗传算法的混合 EDA与差分进化算法的混合 并行分布估计算法 主从模式 岛屿模型 收敛性证明 应用领域越来越广泛 分布估计算法的通用流程 一个简单的分布估计算法例子 基于高斯模型的EDA 基于高斯模型的EDA的流程如下: 第一步:随机生成初始种群P(0),初始化高斯模型的均值μ与方差σ. 假设所有变量对应的高斯模型为:　 (N(μ1, σ1), N(μ2, σ2),…, N(μD, σD)) 其中D为待求解问题的维数. 第二步:根据各维变量对应的高斯模型,抽样产生新种群 T(t). 第三步:从新种群中选择优秀个体集合S(t). 第四步:计算S(t)在各维变量上的均值与方差,对原有的高斯模型进行更新. 高斯模型的更新方法 更新概率模型中的两个重要参数:均值和方差 基于直方图概率模型的EDA 基于链式概率模型的EDA Mutual Information Maximization for Input Clustering，MIMIC 变量之间的关系是一种链式的关系，即在n维随机变量组成的链中，只有相邻的变量之间才有关系. 联合概率密度在形式上产生变化: 其中π是根据链式关系的一种排列. 如何找出最优的π? 基于树状概率模型的EDA Combining Optimizers With Mutual Information Trees ,COMIT COMIT采用一种树状结构来描述两量变量之间的关系,表达能力比MIMIC更强. 关键是如何确立变量之间树状关联关系的结构? 采用机器学习领域中Chow和Liu提出的方法构造概率模型 基于贝叶斯网络模型的EDA 采用贝叶斯网络来描述变量之间概率依赖关系 (其中节点代表变量，边表示变量之间的概率依赖关系) 基于贝叶斯网络的联合概率密度为： 基于贝叶斯网络模型的EDA 关键问题 　贝叶斯网络的结构如何确定? 算法流程 分布估计算法与遗传算法混合 分布估计算法与差分进化算法混合 第一步: 从种群中选出M个较优的个体，建立如下概率模型 并行分布估计算法(一) 种群级别并行化 思路: 将种群分成多个子种群，每个子种群在不同的机器上运行，然后各个子种群通过迁移等机制进行通信，达到综合信息的目的 并行分布估计算法(二) 适应度评估并行化 思路:适应度评估通常是算法中最耗时的部分，因而,采用多台机器并行计算种群中的适应度可有效提高算法求解速度 并行分布估计法(三) 概率模型构建并行化 思路:设计复杂的概率模型需要较大的计算量,并行求解复杂概率模型可有效提高算法计算速度. 其他并行机制 采样的操作进行并行化 混合并行机制 分布估计算法的理论研究 分布估计算法的应用领域(函数优化) 有效地保护 “积木块”，能够高效求解高维的复杂函数优化问题. 在具有先验知识的情况下，可有针对地选择概率模型，从而设计出性能优越的分布估计算法. 已成功应用于求解复杂的多峰函数, 关联性强的复杂函数优化以及多目标函数优化. 分布估计算法的应用领域(组合优化) 分布估计算法的应用领域(生物信息学及其它) * * LOGO Company Logo 思想起源 1 发展历史 2 基本原理 3 改进研究 4 应用领域 ５ 开山始祖 PBIL:(1994 Baluja) UMDA: (1996 H.Miihlenbein Paass) 早期的算法专注于二进制编码 MIMIC: (1997 J.S.D.Bonet) COMIT:(1997 S.Baluja) FDA: (1999 HM Uhlenbein) BOA: (1999 M.Pelikan) 逐渐扩展到连续分布估计算法 PBILc (Sebag, 1998) UMDAc (Larra?aga, P., et al, 2000) CEDGA (Q. Lu, 2005) FWH FHH (Tsutsui et al , 2001) sur-shr-HEDA(N. Ding, et al, 2006) Randomly generated the initial population P(0); t = 0; While not met t