贝叶斯网络结构习总结.docVIP

贝叶斯网络结构学习总结 贝叶斯网络结构学习的原理 从数据中学习贝叶斯网络结构就是对给定的数据集，找到一个与数据集拟合最好的网络。 首先定义一个随机变量，表示网络结构的不确定性，并赋予先验概率分布。然后计算后验概率分布。根据Bayesian定理有 其中是一个与结构无关的正规化常数，是边界似然。 于是确定网络结构的后验分布只需要为每一个可能的结构计算数据的边界似然。在无约束多项分布、参数独立、采用Dirichlet先验和数据完整的前提下，数据的边界似然正好等于每一个（i，j）对的边界似然的乘积，即 贝叶斯网络完整数据集下结构学习方法 贝叶斯网络建模一般有三种方法：1）依靠专家建模；2）从数据中学习；3）从知识库中创建。在实际建模过程中常常综合运用这些方法，以专家知识为主导，以数据库和知识库为辅助手段，扬长避短，发挥各自优势，来保证建模的效率和准确性。但是，在不具备专家知识或知识库的前提下，从数据中学习贝叶斯网络模型结构的研究显得尤为重要。 常用的结构学习方法主要有两类，分别是基于依赖性测试的学习和基于搜索评分的学习。 第一类方法是基于依赖性测试的方法，它是在给定数据集D中评估变量之间的条件独立性关系，构建网络结构。基于条件独立测试方法学习效率最好，典型的算法包括三阶段分析算法（TPDA）。基于依赖性测试的方法比较直观，贴近贝叶斯网络的语义，把条件独立性测试和网络结构的搜索分离开，不足之处是对条件独立性测试产生的误差非常敏感。且在某些情况下条件独立性测试的次数相对于变量的数目成指数级增长。 第二类方法是基于评分搜索的方法，其原理是在所有节点的结构空间内按照一定的搜索策略及评分准则构建贝叶斯网络结构，这种算法虽然能够搜索到精确的网络结构，但是由于结构空间很大，从所有可能的网络结构空间搜索最佳的贝叶斯网络结构被证明为NP-hard问题，所以一般需要使用启发式算法，代表性算法有K2算法等。基于搜索评分的方法是一种统计驱动的方法，试图在准确性、稀疏性、鲁棒性等多个因素之间找个平衡点。但由于搜索方法的先天弱点，导致用搜索评分的方法不一定能找到最好的结构，但是应用范围很广。 当观察到的数据足够充分且计算次数足够多时，基于搜索评分的方法和基于依赖性测试的方法都可以学到“正确”的网络结构。 此外，有人结合上述两种方法，提出了一些混合算法，这类算法首先利用独立性测试降低搜索空间的复杂度，然后执行评分搜索找到最佳网络，如稀疏候选算法（sparse candidate）及MMHC（max-min hill-climbing）算法等。 基于依赖性测试结构学习方法 基于依赖性测试的结构学习算法将贝叶斯网络看作是编码了变量间独立性关系的图结构。它的核心思想是：通过样本集D验证条件独立性I（Xi，Xj|C）是否成立，若成立，则在网络S中节点Xi和Xj被C有向分割，节点Xi和Xj 之间不存在边，若不成立，变量Xi和Xj是依赖的，网络中节点Xi和Xj 之间存在边。然后，利用节点集之间的条件独立性，建造一个有向无环图，以尽可能多地覆盖这些条件独立性。 常用的独立性检验的方法有检验和基于互信息的检验方法。基于依赖性测试的学习方法学习效率较高，而且能够获得全局最优解；但存在以下问题：1.判断两个节点是否独立或条件独立是困难的，变量间条件独立性检验的次数是随着变量的个数的增加指数级增长的；2.高阶的条件独立性检验的结果不够可靠。 1993年Sprites 等提出的SGS算法是典型的以条件独立性测试确定拓扑结构的算法。该算法从无向完全图出发，如果相节点间存在无向分割集，则删除它们间的边；然后通过统计测试来确定剩余边的方向。 2002年，Cheng将信息论与统计测试相结合，使用相互信息代替了条件独立性测试。经过Drafting、Thickening、Thinning三个步骤，通过计算相互信息量来确定节点间的条件独立性。从而构造出多连接有向图模型。 基于评分搜索的结构学习方法： 贝叶斯网络基于评分搜索的结构学习方法主要包括两步: 模型选择和模型优化。 模型选择部分要制定模型选择准则，即评分函数,目前较常用的几个评分函数如下：最优参数对数似然函数，CH评分，BIC评分等，还有MDL（minimum description length）,AIC(Akaike information criterion)评分函数，HVL（holdout validation likelihood）评分（验证数据似然度）。 CVL（cross validation likelihood）评分（交叉验证）。 模型优化就是要根据模型选择准则，即评分函数，选择出评分最高的网络结构，也就是搜索策略问题。从所有可能的网络结构空间搜索最佳的贝叶斯网