基于小生境遗传算法贝叶斯网络结构学习算法研究.docVIP

基于小生境遗传算法贝叶斯网络结构学习算法研究 　　摘要:在数据缺失的情况下讨论一种贝叶斯网络的结构学习算法#65377;该算法结合了小生境遗传算法和EM算法,最后通过试验说明了该算法的有效性#65377; 　　关键词:贝叶斯网络; 结构学习; 小生境遗传算法; 期望最大化算法 　　中图分类号:TP3016文献标志码:A 　　文章编号2007 　　目前,从完整数据中学习参数和网络结构以及在固定网络结构的前提下从不完整数据中学习参数已经有比较成熟和相对完善的方法[1~3]#65377;但是,从不完整数据集中学习网络结构仍然是一个比较困难的问题#65377;从不完整数据集中学习贝叶斯网络是具有重要现实意义的#65377;这是因为,现实世界中的大部分数据经常是不完整的#65377;贝叶斯网络一个经常被引述的优点就是可以用严格的方法对不完整数据进行推断#65377;因此,没有理由要求用于训练的数据必须是完整的#65377;?? 　　在从不完整数据集中学习贝叶斯网络结构方面,Friedman做出了开创性的工作[4,5]#65377;他的方法就是交替进行网络结构的贪婪搜索过程和参数评估的EM过程#65377;其算法的关键在于,只对当前选中的网络结构使用EM算法(SEM算法),进行参数估计,对于未被选中的网络并不使用EM算法;之后对所有的候选结构进行评价,每评价一个当前网络的邻居集,只调用一次EM算法#65377;因为EM算法的计算强度是比较高的,所以能比较显著地节省计算开销#65377;不过,Friedman注意到SEM算法容易陷入局部最大值#65377;为了缓解局部最大值问题,通常从新的#65380;随机产生的网络开始多次运行搜索算法#65377;?? 　　一些分析证实从不完整数据中进行网络结构的搜索是一个非常困难的问题[6,7]#65377;特别是当搜索空间巨大#65380;高维且具有多峰值时,即使多次运行确定性搜索方法也不能收到好的效果#65377;为了从复杂的搜索空间中搜索到好的网络结构,避免陷入局部最大值,遗传算法#65380;MCMC算法等逐渐受到越来越多的重视#65377;?? 　　Larranaga等人讨论了利用遗传算法进行结构学习[8],采用连接矩阵表示网络结构,设计了基于Bayesian方法的适应度函数及选择#65380;重组#65380;变异算子,对遗传算法的控制参数进行了性能分析#65377;Myers W.等人改进了Larranaga等人的工作[9,10],采用遗传操作把不完备数据转换成完备数据,同时遗传网络结构和遗漏的变量值#65377;W. Myers等人的方法可以避免陷入局部极值,但缺点在于指数级地扩大了搜索空间;而且遗传算子把不完备数据转换成完备数据时,无法反映遗漏数据实际具有的概率分布,难以保证算法的收敛性#65377;?? 　　 　　1遗传算法?? 　　 　　遗传算法(Genetic Algorithm,GA) 是模拟自然界生物群体进化过程的一种随机优化方法,具有不依赖于问题模型的特性#65380;寻优过程的自适应性#65380;隐含的并行性#65380;解决复杂非线性问题的鲁棒性以及对优化目标函数无须连续#65380;可微等苛刻条件等优点,并在许多复杂优化问题的应用中都找到了令人满意的解,从而使得该算法在工程领域得到了广泛应用#65377;?? 　　在遗传算法中,将n维决策向量X用n个记号Xi(i=1,2,…,n)所组成的符号串表示为X=X1X2…Xn#65377;其中每个Xi可以看成一个遗传基因,它的所有可能取值称为等位基因#65377;这样X可以看成是由n个遗传基因所组成的染色体#65377;一般情况下,染色体的长度n是固定的,但对某些问题n也可以是变化的#65377;编码所形成的排列形式是个体X的基因型,与之对应的值是个体X的表现型#65377;通常个体的表现型与基因型是一一对应的,但有时也允许基因型与表现型是多对一的关系#65377;对于每一个个体X,要按照一定的规则确定其适应度#65377;个体X的适应度与其对应的表现型的目标函数值相关联,X越接近目标函数的最优点,其适应度越大;反之,其适应度越小[11]#65377;?? 　　生物的遗传过程主要是通过染色体之间的重组和染色体变异来完成的#65377;与此对应,遗传算法中最优解的搜索过程也模仿生物的遗传过程,使用遗传算子作用于群体P(t),得到下一代群体P(t+1)#65377;遗传算子主要包括下面三种:?? 　　(1)选择#65377;根据各个体的适应度,按照一定的规则或方法,从第t代群体P(t)中选择一些优良的个体遗传到下一代群体P(t+1)中#65377;??