多维贝叶斯网络分类器学习算法-软件工程专业论文.docxVIP

摘要 摘要 华侨大 华侨大学硕士学位论文 I I PAGE PAGE IV 摘要 贝叶斯网络（Bayesian Network, BN）属于概率图模型，是一种有效的不确 定知识表达和推理工具 - 除了能直观而紧凑（定性和定量）地表示变量间的相 互关系，BN 还提供强大的推导能力，包括基于完整观测值或带缺失值的观测样 本。BN 在诸多领域获得了广泛的应用，特别是诊断和决策场景。应用 BN 的前 提是获得准确的模型，包括结构和参数，而结构学习是贝叶斯网络研究中的重 点和难点。常见的结构学习途径有两种：（1）由领域专家基于专业知识和经验 完成；（2）基于学习算法从样本数据蕴含的信息中推导/恢复。前者不适合于大 规模应用，后者是目前的主流方式，而后者又可进一步分三个不用的方向：（1） 基于依赖统计分析的方法，又称基于约束的搜索（Constraint Based Search）；（2） 基于评分搜索（Scoring and Search）；（3）结合上述两种方法的混合搜索算法。 每类策略已知皆有多种实现（算法），但复杂度都为指数级，即 BN 的结构学习 属于 NP 困难问题，这直接限制了目前 BN 可解决的问题规模。 分类是机器学习和数据挖掘的基本任务，属于目标变量为离散型的预测技术 –是基于自变量的观测值向量预测目标变量的取值。根据目标变量的个数可分为 单维和多维分类，传统的分类任务默认指得是单维分类。分类可视为特殊的推 导任务，将 BN 应用于单维分类任务时，许多经典的简化模型被提出以降低学习 代价，比如朴素贝叶斯（Naive Bayes, NB）及其诸多增强版本（树增益朴素贝叶 斯（TAN）等）。虽然这些特殊的 BN 所要求的假设在现实中并不成立，但这些 简化的贝叶斯网络分类器（Bayesian Network Classifier, BNC）取得了惊人的成 功，包括经济的学习成本和有竞争力的预测性能。 关于多维分类的研究源于人们逐渐意识到该应用场景在现实世界中广泛存 在。例如，一个人若患有“高血压”，将伴随出现多种并发症状，包括心脏并发症 （如左心室肥厚/心绞痛/心肌梗死/心力衰竭）、脑卒中（出血性脑卒中/缺血性 脑卒中/高血压脑病）、大小动脉（动脉硬化/主动脉夹层）、高血压性肾损害（小 动脉性肾硬化症/恶性小动脉肾硬化症/慢性肾功能衰竭）等。这些不同维度的具 体症状相互关联而非相互独立，既是基于自变量的观测值被预测的对象，也影 响着相互之间的预测。由于预测任务是多个目标的最可能组合，而非逐个目标 的推导，多维分类可实现更符合实际的预测性能。多标签分类属于多维分类的 特殊情况，前者仅能预测目标标签的存在与否（二值预测）。 贝叶斯网络在 2006 年首次被研究人员应用到多维分类问题，所提出的模型 被命名为多维贝叶斯网络分类器（Multi-dimensional Bayesian Network Classifier， MBNC）。为了避免高昂的学习代价，MBNC 被限制为两偶图（Bi-partitie Graph）， 即可分解为三个独立的子图：类子图（Class Sub-graph）、特征子图（Feature Sub-graph）和连接它们的桥接子图（Bridge Sub-graph）。传统的 MBNC 中目标 变量的父结点仅允许是（其他）目标变量，类子图和特征子图是相对独立的有 向无环图（Directed Acyclic Graph, DAG），故经典的 MBNC 两偶图可以表示为 DAG-DAG。为了进一步降低学习代价，研究人员不同程度地添加了对类子 图和特征子图的约束， DAG-DAG 相应变为 Empty-Empty 、 Polytree-Polytree和Tree-Tree等。此外，经典 MBNC 默认针对所有特征 变量建模，可能包含冗余变量和/或无关变量。 本文提出一种新的多维贝叶斯网络分类器 - 通用多维贝叶斯网络分类器 （General MBNC, GMBNC），它允许 any-to-any 的依赖关系。GMBNC 与传统 MBNC 相比存在两大差异：（1）不要求模型是两偶图，只需满足一般 DAG 的 约束；（2）默认仅包含对目标变量预测有效的变量集合 - 目标变量的马尔科夫 毯（Markov Blanket）组合，因而 GMBNC 实际上是全局 BN 的一个局部结构。 由于支持最一般的依赖关系，GMBNC 从理论上看较 MBNC 更能实现对客观不 确定世界的精准建模，这是准确预测的基础。同时，GMBNC 继承了作为 BN 所 具备的直观建模和强大灵活的推导能力。 根据定义，学习 GMBNC 的一种可行途径是先学习关于目标变量和所有特征 变量的全局贝叶斯网络，而后根据定义可容易“读出”目标 GMBNC。