数据挖掘与知识发现(讲稿---贝叶斯网络).pdfVIP

第 11 章 贝叶斯网络 贝叶斯网络是 1986 年由 Pearl 提出的， 根据各个变量之间的概率关 系，使用图论方法表示变量集合的联合概率分布的图形模型 。它提供了 一种自然的表示因果信息的方法，用来发现数据间的潜在关系。 在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。 其特点有： 贝叶斯理论给出了信任函数在数学上的计算方法，具有稳固 的数学基础，同时刻画了信任度与证据的一致性以及信任度 随证据而变化的增量学习特性； 在数据挖掘中，贝叶斯网络可以处理不完整和带有噪声的数 据集，它用概率测度的权重来描述数据间的相关性，从而解 决了数据间的不一致性，甚至是相互独立的问题； 用图形的方法描述数据间的相互关系，语义清晰、可理解性 强，这有助于利用数据间的因果关系进行预测分析； 11.1 贝叶斯方法的基本观点 贝叶斯分析方法的特点是使用 概率 去表示所有形式的不确定性。学 习或其他形式的推理都是用 概率规则 来实现的。贝叶斯学习的结果表示 为随机变量的 概率分布 ，它可以解释为我们对不同可能性的信任程度。 贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设。 假设随机变量 x , 的联合分布密度是 p(x , ) ，它们的边际密度分别为 p(x ), p( ) 。设x 是观测向量， 是末知参数向量，则可通过观测向量来获 得末知参数向量的估计。贝叶斯定理为： ( ) p(x | ) ( ) p(x | ) p( | x) p(x) ( ) p(x | )d 这里， ( ) 是 的先验分布。 上式可以看出， 对末知参数向量 的估计综合了它的 先验信息 和样本 信息 。而传统的参数估计方法 只从样本数据 获取信息，如最大似然估计。 Bayesian方法对末知参数向量估计的一般过程为： 将末知参数看成是随机变量； 根据以往末知参数 的知识，确定先验分布 ( ) ； 计算后验分布密度，做出对末知参数的推断。 贝叶斯假设 ：如果没有任何以往的知识来帮助确定 ( ) ，贝叶斯提出 可以采用均匀分布作为其分布，即参数在它的变化范围内，取到各个值 的机会是相同的。 11.2 贝叶斯网络的构造原理 定义 ：贝叶斯网络是一个二元组 B=G ，P，其中 ① 网络结构 G=V，A是一个有向无环图， V {V ,V , ,V } 为 1 2 n 结点集； A 为弧的集合； ② 网络参数 P 中的每一个元素代表结点 V i 的条件概率密度； 则由概率的链规则得 n P(V ) P(V ,V , ,V ) P(V |V ,V , ,V ) 1 2 n i 1 2 i 1