基于改进粒子群优化算法的贝叶斯网络结构学习.pdfVIP

2014年 10月 西 北 工 业 大学 学 报 0ct． 2014 第 32卷第 5期 JournalofNorthwesternPolytechnicalUniversity V01．32 No．5 基于改进粒子群优化算法的贝叶斯网络结构学习 高晓光，邸若海，郭志高 西北工业大学 电子信息学院，陕西 西安 710129 摘 要：贝叶斯网络结构学习是数据挖掘和知识发现领域的重要研究技术之一，在网络结构的搜索空 间较大的情况下，传统的二值粒子群优化算法往往存在收敛速度慢，容易陷入局部最优，学习精度较 差的缺陷。在传统二值粒子群优化算法基础上，利用互信息限制粒子群算法的初始化，缩小算法的搜 索空间，同时构建新的进化模型代替原有的进化公式，使得改进后的算法具有更强的寻优能力。采用 ASIA网络作为仿真模型，并与原有算法比较，结果表明，改进算法能够在较少的迭代次数下找到较优 的解，并且基本没有增加算法的复杂度。 关 键 词 ：贝叶斯网络 ，数据挖掘 ，粒子群优化 中图分类号：TP18 文献标志码 ：A 文章编号：1000—2758 2014 05—0749—07 贝叶斯网络 Bayesiannetworks 以其坚实的理 论基础、清晰的表达形式、灵活的推理能力、方便的 1 经典粒子群优化算法 决策机制逐渐成为人工智能领域处理不确定问题的 有力工具 ¨ 。贝叶斯网络结构学习是贝叶斯网络 粒子群优化算法源于鸟群捕食行为的研究。首 的重要研究内容，也是处理不确定问题的关键环节。 先，算法初始化一群粒子，然后通过迭代找出最优 粒子群优化算法最早被提出是为了解决连续域 解，在每一次迭代中，粒子通过跟踪2个极值来更新 的目标优化问题_4j，然而，实际中的一些实际问题 自己。图1给出了粒子群优化算法的简单流程 往往属于离散域的问题。Kennedy和Eberhaa 首 先提出二值粒子群优化算法 BPSO ，之后一些学 者也对其进行了拓展性研究 j。与遗传算法和其 他一些搜索算法相比，其优势不仅是算法易于实现， 更重要的是其强大的搜索能力。近来，BPSO算法 被应用于 BN结构学习，并取得了一些成果 ，文献 [7-9]定义了离散域中计算速度和位置的规则，并将 其应用于BN结构学习。文献 [1O]属于本文前期的 一 些研究，将 BPSO与互信息相结合以限制粒子群 算法搜索空间。在我们前期的研究中发现，虽然 图 1 粒子群算法流程 BPSO算法能够直接用来学习贝叶斯网络结构，但 是，其进化公式中很难体现 2个极值在进化过程中 在找到2个最优解之后，粒子通过公式 1 来更新 的作用，使得进化过程具有随机性，进而使得收敛速 自己的位置和速度 度变慢，寻优能力变差。本文欲通过互信息限制初 +l ∞ +CIrI pbe。— +c2r2 Gbe 一X 始粒子，并应用朴素贝叶斯网络模拟粒子群算法的 X川 X + +1 1 更新过程，以提高算法的收敛速度和寻优能力。 收稿 日期 ：2014·04—02 基金项目：全国高校博士点基金 座机电话号码110026 资助 作者简介 ：高晓光 1957一 ，女 ，西北工业大学教授，主要从事复杂系统建模及效能评估、贝时斯理论研究。 西 北 工 业 大 学 学 报 第32卷 式中：后代表迭代次数， 代表粒子的当前速度，瓦 利用公式 5 更新粒子速度矩阵，经典的二值 代表粒子的当前位置，r和r是介于[0，1]之间的 粒子群优化算法 中将速度矩阵表示为粒子位置 随机数，C。和C：是学习因子，∞是惯性权重。 取 1的概率。利用 4 式将粒子速度转化为概 率值。 2 一种改进的BN结构学习算法 5 4 2．1 BN结构学习中粒子的表示及更新 进而利用公式 5 更新粒子位置 每个粒子的位置在各个矩阵维数上取 0或者 。 ．． ． ．． ．。 ．．． ．．． ．． ．． ． ．． ．． ．． ．： L 5 loi d 5 1。若粒子的位置用矩阵G n，n 来表示，irL为网络 otherwise 结构中的结点数 目，矩阵元素 定义如图2所示： 2．2 改进粒子群优化算法的BN结构学习 f1 是节点 的父节点 ，^、 为了改进经典二值粒子群优化算法的性能，本 10其他 z 文提出一种改进的粒子群优化算法，具体流程如图 4所示 ： i[巫匦 _J 丽 丽 i !I 堑堕堑 J i 图2 粒子的位置表．示 I ● l I更新粒子位置和速度Il ————1——一 i否 E亟圃 ； 在粒子群优化算法中，粒子以一定的速度移动， 羹 与粒子位置一样，速度也用矩阵表示，其中每个元素 定义为 r1 加上节点_到『 的边 0 保持不变 3 图4 改进 BN