基于信息论和遗传算法的bayesian网络弧定向方法研究.pdfVIP

第 43 卷 　第 5 期 ( ) Vol. 43 No. 5 复 旦 学 报 自然科学版 2004 年 10 月 Journal of Fudan University (Natural Science) Oct. 2004 　　文章编号 (2004) 基于信息论和遗传算法的 Bayesian 网络 弧定向方法研究 1 2 1 李小琳 , 何湘东 , 苑森淼 ( 1. 吉林大学 计算机科学与技术学院 ,长春 　130012 ; 2. 吉林大学 数学研究所 ,长春 　130012) 摘　要 : Bayesian 网弧定向问题是 Bayesian 网学习的一个重要方面. 提出了一种基于信息论和遗传算法的 Bayesian 网弧定向算法. 将信息论中鉴别信息这一概念引入 Bayesian 网学习中来 , 以鉴别信息定向后的网络为基 础网 ,并设计相应的适应度函数和遗传算子 ,使该算法能够收敛到全局最优的 Bayesian 网结构. 从而极大地减弱 了单纯利用遗传算法学习对初始群体的依赖性 ,提高了算法的收敛速度. 实验结果表明 :该算法能够有效地解决 Bayesian 网弧定向问题. 关键词 : Bayesian 网; 信息论 ; 鉴别信息 ; 遗传算法 ; 计算复杂度 中图分类号: TP 301 　　 文献标识码 : A 　　 Bayesian 网是复杂联合概率分布的图形表示方式 ,其坚实的理论基础、知识结构的自然表述方式、灵 活的推理能力、方便的决策机制使其应用越来越广泛 ,成为人工智能领域处理不确定性的主要方法之 一1 . Bayesian 网是一个有向无环图 ,可以用来表示事物之间的概率因果关系. Bayesian 网中每个节点代 表一个变量 ,而连接两个变量的弧则代表这对变量之间可能的因果关系2 . 因果关系在知识推理中起到 极其重要的作用 ,因此Bayesian 网弧定向问题也显得尤为重要. 目前,Bayesian 网弧定向方法主要有两种: 碰撞识别法和打分搜索法. 碰撞识别法依靠 V 结构来对弧进行定向 ,正是这个原因使碰撞识别法不可能 确定所有弧的方向 ,定向的数量和网络结构有关3 . 也就是说 ,假设某个网络中没有任何 V 结构 ,使用碰 撞识别法将不能确定任何弧的方向. 一些研究者直接利用打分搜索方法确定弧的方向4 ,但这种方法往 往缺乏效率 ,具有指数级的计算复杂度 ,当处理较大网络时往往力不从心. 另外还有研究者利用专家知识 或常识进行弧定向5 ,这种方法的准确率难以确定. 基于以往方法的缺点 ,提出一种基于信息论和遗传算法的 Bayesian 网弧定向算法 ———CEGA (cross ) ( entrop y genetic algorithm 算法 ,这种算法的基本思想是先利用信息论中的鉴别信息 又称交叉熵 ,cross entrop y) 对网络中所有弧定向 ,并在这个基础上利用遗传算法进行弧定向. 由于利用鉴别信息定向得到的 网络本身正确率较高 , 由这个网络作为基础网,较直接使用遗传算法 ,能够极大的提高算法的效率. 由于使 用遗传算法作为搜索方法并设计了始终保留最优个体的遗传操作 ,使每次进化都能提高群体的质量 ,从而 保证算法可以收敛到全局最好的网络结构. 1 　问题定义 在信息论中, 鉴别信息 I ( p , p ) 是为了鉴别 H 和 H 而对随机变量 X 在 H 假设的分布下进行观察 2