贝叶斯网络结构学习与推理分析-应用数学专业论文.docx

西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果．尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其他教育机构的学位或证书而使用过的 材料．与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意． 申请学位论文与资料若有不实之处，本人承担一切的法律责任． 本人签名： 日 期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学．学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其他复制手段保存论文．同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学． （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 年解密后适用本授权书． 本人签名： 导师签名： 日 期： 日 期： 摘 要 贝叶斯网络是概率统计与图论相结合的一种图模型，在不确定性知识的表达 和推理方面具有独特优势，已成功地应用于机器学习、人工智能、生物信息学、 金融分析与预测等多个领域．然而，仅依赖专家的领域知识构建贝叶斯网络非常 困难，甚至是不可能的．因此，从数据中学习贝叶斯网络结构并进行推理计算已 经成为该研究领域的重点和难点问题.本文在深入研究贝叶斯网络相关理论的基 础上，从不同角度建立学习贝叶斯网络结构的优化算法，为贝叶斯网络的构建和 实际应用提供了有力的依据；同时，针对含有连续变量的高斯网络，通过分析该 类网络的具体特点，给出一种新的推理计算方法．具体工作包括以下几个方面： 1. 针对大规模贝叶斯网络的结构学习问题，提出了一种基于最大主子图分解 的贝叶斯网络等价类学习算法．首先，在深入研究无向图分解理论的基础上，给 出了一种基于全条件独立的最大主子图分解算法；利用该算法可以对目标网络的 无向独立图进行分解，使得复杂高维系统的数据模式分解成若干子模块，从而将 结构学习简化为局部子网络的学习问题；理论证明，这种分解不会破坏随机变量 的局部统计信息．同时，本文在忠实性分布的假设条件下，提出了一种利用嵌入 性忠实性分布确定变量 Markov 边界的算法，提高了条件独立测试的效率． 2. 针对小样本数据的结构学习问题，提出了一种基于先验节点序的优化算 法．首先，通过定义 1-步依赖系数给出了网络结构的全局依赖度量，以此作为优 化模型的目标函数，从而将结构学习问题转化为在可行域空间中求解目标函数的 极大值问题，并给出了最优解的存在性及唯一性证明，为小样本贝叶斯网络学习 提出了新的解决方案．同时，将这一思想引入到变量无序情况下的数据分类问题 中，理论证明以及实验结果表明，与朴素贝叶斯、树扩展型分类算法相比，该分 类算法具有较高的分类精度和较优的模型结构． 3. 针对基于评分搜索的结构学习算法，将一类新的群智能优化算法—蜂群优 化引入到贝叶斯网络的学习中，给出了有效的初始解生成方法以及解的状态空间 描述，同时，通过三种操作算子和可分解的 K2 评分函数引导蜜蜂在解的邻域中进 行搜索，使得不同类型蜜蜂之间相互协作共享．仿真实验结果显示，新算法不仅 具有较强的学习能力和良好的收敛速度，而且相对于文中其他算法能够获得更好 的求解质量． 4. 研究了含有连续变量的条件线性高斯网络的基本理论，并深入分析了高斯 网络的推理计算问题，给出了消息传递过程中用于消元运算的几个关键算子的证 明，在此基础上，提出了一种基于强联接树的高斯网络推理算法．该算法结合图 模型结构中隐含的语义知识，通过对团节点和分离元节点的势函数进行分解，将 I PAGE PAGE IV III III 推理计算过程中的语义变化抽象为具体的公式推导，并给出了消元前后目标概率 分布的形式变化，从而有效避免了冗余变量的物理计算． 关键词：贝叶斯网络 结构学习 条件独立测试 联接树 条件线性高斯网络 最大主子图分解 人工蜂群优化 Markov 边界 Markov 等价 推理计算 ABSTRACT Bayesian network (BN) is a general graphical model which is developed by the integration of probability with graph theory. Since it is based on solid theoretical foundation and has unique ad