构建在最大熵原理上分布估计算法及应用研究.docVIP

. . 　　 本文档下载自 HYPERLINK / 文库下载网，内容可能不完整，您可以点击以下网址继续阅读或下载：  HYPERLINK /doc/0d2d86b4960590c69ec3760c.html /doc/0d2d86b4960590c69ec3760c.html 构建在最大熵原理上的分布估计算法及其应用研究 小型微型计算机系统JournalofChineseComputerSystems2007年12月第12期Vol.28No.122007 构建在最大熵原理上的分布估计算法及其应用研究 姜　群,王　越,欧　阳 (重庆工学院计算机学院,重庆400050)E-mail:jq@ 摘　要:分布估计算法是进化计算领域的一个新方向.它主要用概率模型来建造进化计算中的遗传算法,它不再依赖于交叉与变异,而是估计较好个体的概率分布,用概率分布来引导对搜寻空间的探索.本文提出一类基于最大熵的分布估计算法.实验结果表明,在解决某些较复杂问题时,本文算法比遗传算法更具优势.关键词:最大熵;模式;概率分布;约束 中图分类号:TP18　　　　　文献标识码:A　　　　　　文章编号:1000-1220(2007)12-2229-04 ConstructingEstimationofDistributionAlgorithmsBasedontheMaximumEntropy JIANGQun,WANGYue,OUYang (CollegeofComputerScienceandTechnology,ChongqingInstituteofTechnology,Chongqing400050,China) Abstract:EstimationofDistributionAlgorithm(EDA)isanewareaofEvolutionaryComputation.UnliketraditionalGeneticAlgorithms,EDAsreplacethecrossoverandmutationoperatorsbyconstructingaprobabilisticmodelofpromisingindividuals,andexploitsearchspaceguidedbytheprobabilitydistribution.Thispaperdevelopsaframeworkforestimationofdistributionalgorithmsbasedonmaximumentropy.Empiric/doc/0d2d86b4960590c69ec3760c.htmlalresultsshowthatanalgorithmofthistypegivesbetterperformancethange-neticalgorithminsomecomplexproblems. Keywords:maximumentropy;schema;probabilitydistribution;constrain 1　引　言 遗传算法通过选择、交叉与变异来实现进化过程.选择只增加高评价解的频率,不会在种群中增加新的解.而交叉和变异从当前种群中产生新的解来扩大从搜寻空间中抽样.分布估计算法采用了不同的方法,当前种群被用来估计反映该种群的某种重要特征的个体的概率分布,从概率分布中抽样来产生新的个体.这样所产生的个体既引进多样性到新的种群中,同时又保持了上一代种群的突出特征,于是抽样过程代替了遗传算法中的交叉和变异 [1] 的相应频率之和. 传统的方法理解遗传算法原理是用建筑块假设,遗传算法靠不断地结合那些被认为代表了问题部分解的、具有高评价的(适应度)、短的、低阶的模式来产生高评价值的解[3].根据最新准确的模式定理[4-6],遗传算法的工作原理的确是靠结合建筑块,而这些建筑块是非静态的、高“有效适应度”的[4](不一定是高适应度),一般地,是非短的[7].准确的模式定理用一种更严格的方式来解释建筑块的角色,并帮助我们理解遗传算法的工作原理. 我们将采用模式在所给的种群中的频率去约束所估计的分布,使该分布的熵随之达到最大.再从这个最大熵分布中取样来产生新的种群.由于模式频率是字符串频率之和,与字符串频率相比,它们应该是对评价函数性质的更可靠的估计.另外,由于算法的状态能够完全被模式的频率所描述,它将导出对这一类算法的探讨途径. 就平均而言,从低阶模式频率约束下的最大熵分布中抽样将在新的种群中保持这些模式频率.因此,新的分布估计算法适用于解决那些保持建筑块对应于低阶模式的问题.新的分布估计算法一般表达式可描述为: (1)初始化种群; (2)产生初始的模式集/doc/0d2d86b4960590c69ec3760c.html; (3)根