贝叶斯计算机网络简介.ppt

贝叶斯网络简介Introduction to Bayesian Networks  基本框架 贝叶斯网络：? 概率论 ? 图论 基本思路 贝叶斯网络是为了处理人工智能研究中的不确定性(uncertainty)问题而发展起来的. 贝叶斯网络是将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。 BN是一种系统地描述随即变量之间关系的工具。建立BN的目的主要是进行概率推理(probabilistic inference)。 用概率论处理不确定性的主要优点是保证推理结果的正确性。 几个重要原理 链规则(chain rule) 贝叶斯定理(Bayes’ theorem) 利用变量间条件独立性 What are they? Bayesian nets are a network-based framework for representing and analyzing models involving uncertainty What are they used for? Intelligent decision aids, data fusion, feature recognition, intelligent diagnostic aids, automated free text understanding, data mining Where did they come from? Cross fertilization of ideas between the artificial intelligence, decision analysis, and statistic communities 贝叶斯网络的几个主要问题 贝叶斯网络概率推理(Probabilistic Inference) 结构学习 (structure learning) 参数学习 (Parameter learning) 分类 (classification) ? 隐变量及隐结构学习 (Hidden variables and hidden structure learning) 一个简单贝叶斯网络例子 一个简单贝叶斯网络例子 计算过程： (1) P(y1|x1)=0.9 P(z1|x1)=P(z1|y1,x1)P(y1|x1)+P(z1|y2,x1)P(y2|x1) =P(z1|y1)P(y1|x1)+P(z1|y2)P(y2|x1) =0.7*0.9+0.4*0.1=0.67 P(w1|x1)=P(w1|z1,x1)P(z1|x1)+P(w1|z2,x1)P(z2|x1) =P(w1|z1)P(z1|x1)+P(w1|z2)P(z2|x1) =0.5*0.67+0.6*0.33=0.533 该计算利用向下概率传播及链式规则。 一个简单贝叶斯网络例子 计算过程： (2) P(y1)=P(y1|x1)P(x1)+P(y1|x2)P(x2)=0.9*0.4+0.8*0.6=0.84 P(z1)=P(z1|y1)P(y1)+P(z1|y2)P(y2)=0.7*0.84+0.4*0.16=0.652 P(w1)=P(w1|z1)P(z1)+P(w1|z2)P(z2)=0.5*0.652+0.6*0.348=0.5348 P(w1|y1)=P(w1|z1)P(z1|y1)+P(w1|z2)P(z2|y1) =0.5*0.7+0.6*0.3=0.53 P(w1|y2)=P(w1|z1)P(z1|y2)+P(w1|z2)P(z2|y2) =0.5*0.4+0.6*0.6=0.56 P(w1|x1)=P(w1|y1)P(y1|x1)+P(w1|y2)P(y2|x1) =0.53*0.9+0.56*0.1=0.533 该计算利用向上概率传播及贝叶斯定理。 为什么要用贝叶斯网络进行概率推理？ 理论上，进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长，所以当变量众多时不可行。 贝叶斯网络的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块，从而大大降低知识获取和概率推理的复杂度，使得可以把概率论应用于大型问题。 统计学、系统工程、信息论以及模式识别等学科中贝叶斯网络特里的多元概率模型：朴素贝叶斯模型，隐类模型，混合模型，隐马尔科夫模型，卡尔曼滤波器等。 动态贝叶斯网络主要用于对多维离散时间序列的监控和预测。 多层隐类模型，能够揭示观测变量背后的隐结构。 概率论基础 贝叶斯网络所依赖的一个核心概念是条件独立: Conditional Independen