DATA MINING(CH5).ppt

第5章 贝叶斯网络 《数据挖掘与知识发现》(第2版) 吉林大学计算机科学与技术学院 李雄飞 贝叶斯网络 贝叶斯网络(Bayesian Networks)结合图论和统计学方面的知识，提供了一种自然表达因果信息的方法，用于表达随机变量之间复杂的概率不确定性，发现数据间的潜在关系。 本章介绍如下几个方面的内容： 贝叶斯网络基本概念 不确定性推理与联合概率分布 贝叶斯网络中的独立关系 贝叶斯网络学习 贝叶斯网络分类器 引言 贝叶斯网络将图论和统计学相结合，用于表达随机变量之间复杂的概率不确定性，发现数据间的潜在关系。 优点： (1)知识表示形式更加直观。 (2) 对于问题域的建模，当条件或行为等发生变化时，不需要修正模型。 (3)以图形化表示随机变量间的联合概率，处理不确定性信息。 (4)没有确定的输入或输出结点，结点之间相互影响，可以用于估计预测。 (5) 将知识表示与知识推理结合统一为整体。 1988年，Pearl建立了贝叶斯网基础理论体系，将概率理论和图论有机结合，用一种紧凑的形式表示联合概率分布。 贝叶斯网络基本概念 给定一个随机变量集X={X1,X2,…,Xn}，其中Xi是一个m维向量。贝叶斯网络说明X上的联合条件概率分布。定义为 G是有向无环图，节点分别对应于有限集X中的随机变量X1,X2,…,Xn ，每条弧代表一个函数依赖关系。 如果有一条由变量Y到X的弧，则Y是X的双亲(直接前驱)，X是Y的后继。 Xi的所有双亲变量用集合Pa (Xi)表示。 一旦给定双亲，图G中的每个变量就与其非后继节点相独立。 代表用于量化网络的一组参数。对于Xi的取值xi，参数 贝叶斯网络表明变量集合X上的联合条件概率分布： 贝叶斯网络基本概念 贝叶斯网络提供一种方便表示因果知识的途径。 网络内节点可以选作“输出”节点，代表类标号属性。可以有多个输出节点。分类过程返回类标号属性的概率分布，预测每个类的概率。 不确定性推理与联合概率分布 不确定性的主要来源： ⑴领域专家对自己掌握知识的不确定性； ⑵所要建模的领域本身内在的不确定性； ⑶知识工程师试图翻译、表示知识所产生的不确定性； ⑷关于知识自身的精确性和知识获取方面存在的不确定性。 使用概率方法进行不确定性推理的步骤： ①将待处理问题域抽象为一组随机变量的集合X={X1,X2,…,Xn} ； ②把关于该问题的知识表示为一个联合概率分布P(X)； 按照概率论原则进行推理计算。 例（Alarm问题）：Pearl教授的家里装有警铃，地震和盗窃都可能触发警铃。听到警铃后，两个邻居Marry和John可能会打电话给他。如果Pearl教授接到Mary的电话，说听到他家警铃响，那么Pearl教授家遭盗窃的概率是多大? 不确定性推理与联合概率分布 5个随机变量： 盗窃(Burgle，B) 接到John的电话(John Call，J) 地震(Earth Quake，E) 接到Marry的电话(Marry Call，M) 警铃响(Alarm，A) 不确定性推理与联合概率分布 从联合概率P(A, B, E, J, M)出发，先计算边缘分布 （5.4） 得到联合概率边缘化分布： 再按照条件概率定义，得到 不确定性推理与联合概率分布 问题： 随着变量数目增加，联合概率分布的参数个数成指数级增长。 n个二值随机变量的联合概率分布包含2n-1个独立参数。 当变量很多时，联合概率的获取、存储和运算都十分困难。 在六、七十年代，大多数学者认为概率论不适合于解决人工智能中的不确定性问题。 贝叶斯网络中的独立关系 利用变量间的条件独立关系可以将联合概率分布分解成多个复杂度较低的概率分布，从而降低模型复杂度，提高推理效率。 例如：由链规则可以把联合概率分布P(A, B, E, J, M)改写为： 独立参数：1+2+4+8+16=31 E与B相互独立， 即P(E|B)=P(E) 给定A时，J与B和E相互独立， 即P(J|B, E, A)=P(J|A) 给定A时，M与J、B和E都相互独立，即P(M|J, A, B, E)=P(M|A) 则有： 独立参数：l+2+4+2+2=11 贝叶斯网络中的独立关系 利用链规则将包含n个变量的联合分布 写为： 对