贝叶斯网络研究概述.docVIP

第2章 贝叶斯网络研究概述 2.1 发展现状 自从50－60年代贝叶斯学派形成后，关于贝叶斯分析的研究久盛不衰。贝叶斯网络是上世纪80年代发展起来的一种概率图形模型，曾成功用于专家系统，成为表示不确定性专家系统知识和推理的一种流行方法。数据采掘兴起后，贝叶斯网络日益受到重视，再次成为引人注意的热点。贝叶斯网络提供了不确定性环境下的知识表示，推理，学习手段，可以完成决策，诊断，预测，分类等任务，已广泛应用于数据挖掘，语言识别，工业控制，经济预测，医疗诊断等诸多领域。贝叶斯网络有一些基础的可继续深入研究的问题：贝叶斯网络表示问题，贝叶斯网络推理问题，贝叶斯网络学习问题。本章将对这些问题，做个全面的阐述。 2.2 贝叶斯网概述 2.2.1 贝叶斯方法及先验分布 贝叶斯方法源于贝叶斯的论文，此文提出了著名的贝叶斯公式（又称贝叶斯定理），此后一些统计学家将其发展成为一种系统的统计推断和决策的方法。将先验信息正式的纳入统计学中并探索如何利用这种信息的方法称为贝叶斯分析，它的处理是比较鲜明而独特的。统计学派一直存在贝叶斯学派和经典统计学派之争，但不可否认的贝叶斯方法有着坚实的数学基础，并且其方法逐步被人们理解和重视，并在实际应用中取得成功。 贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B) （2.1） 事件A在事件B（发生）的条件下的概率P(A|B)，与事件B在事件A的条件下的概率P(B|A)是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。P(A)称为先验概率，P(A|B)称为后验概率，先验概率和后验概率是相对于某组证据（这里是事件B发生）而言的。贝叶斯方法就是利用贝叶斯公式描述了先验概率和后验概率之间的关系。 贝叶斯方法一般的定义是 图2-1 贝叶斯方法 贝叶斯学派和经典统计学派的基本区别在于对概率本质理解的差异性。经典统计学派的概率是基于频率的，而贝叶斯观点认为概率可以是主观的，概率的陈述反映了在给定状况下统计学家的信念。 对本文使用符号约定如下：大写字母 X，Y 等表示变量，相应的小写字母如x，y表示变量的状态或值；黑体大写字母 X，Y等表示一组变量，小写黑??字母 x，y等表示这组变量取值或所处的状态。 贝叶斯统计学派将参数视为和样本一样的随机变量（或向量），记为θ。当θ已知时，数据样本x1，…，xn联合概率分布P（x1，…，xn ;θ）可以认为是样本对参数θ的条件分布P（x1，…，xn | θ），简写为P（x /θ）。 2.2.2 贝叶斯网络及其构造 贝叶斯网络（Bayesian Network），又称信念网络（Belief Network），是一个带有概率注释的有向无环图（DAG）。考虑一个有限的离散随机变量集合U ＝{X1，X2，…，Xn}，其中，每个变量Xi可以取有限个值。形式上说，一个贝叶斯网络是一个二元组S＝G，è。其中，第一部分G是一个有向无环图，其中的节点与随机变量X1，X2，…，Xn一一对应，有向边表示变量之间的条件依赖关系。它蕴含了下面的条件独立假设：给定其父节点集，每一个变量独立于它的非子孙节点。第二部分è是刻划网络局部条件概率的的参数集合{θxi | pa }， θxi |pai=p（xi | pai）表示节点 Xi的每一个取值xi在其父节点集pai处于某个特定配置pai下的条件概率。 下图是一个经典的贝叶斯网络的示意图，贝叶斯网络S上所刻划的U上的联合概率分布可以由下列式子唯一给定 P（x1，… ，xn） = ∏p（Xi |πxi） （2.2） 图2-2 “草地潮湿原因模型”贝叶斯网络 贝叶斯网络的构造可以分三步进行。 第一步，确定为建立网络模型有关的变量及其解释。为此，需要：1）确定模型的目标，即确定问题相关的解释；2）确定与问题有关的可能的观测值，并确定其中值得建立模型的子集；3）将这些观测值组织成互不相容的而且穷尽所有状态的变量。问题是这样做的结果不是唯一的，而且没有通用的解决方案，不过可以从决策分析和统计中得到一些指导原则。 第二步，建立一个表示条件独立断言的有向无环图。根据概率乘法公式有 （2.3）对于每个变量Xi，如果有某个子集∏i{X1，X2，…，Xi-1}使得 Xi与{X1，X2，…，Xi-1}\∏i是条件独立的，即对任何X，有 （2.4） 由式（2.3）和（2.4）可得：。如果pai表示变量Xi的父节点集，则。 于是，为了确定贝叶斯网络的结构，需要：1）将变量X1，X2，…，Xn按某种次序排列；2）确定满足式（2.4）的变量集∏i（i＝1，2，…，n）