贝叶斯网络简介幻灯片.ppt

贝叶斯网络参数学习 最大似然估计 完全基于数据，不需要先验概率： 贝叶斯估计 假定在考虑数据之前，网络参数服从某个先验分布。先验的主观概率,它的影响随着数据量的增大而减小。 贝叶斯网络参数学习 缺值数据最大似然估计：EM算法 （迭代算法） 1 基于 对数据进行修补，使之完整 (E-step) 2 基于修补后的完整数据计算的最大似然估计 (M-Step) EM算法是收敛的。 隐结构模型学习 隐变量是取值未被观察到的变量。通过数据分析： 1 隐变量的个数 2 隐结构 3 隐变量的势 4 模型参数 方法：基于评分函数的爬山法 G是一个隐变量模型，D是一组数据。 是G的参数的某一个最大似然估计， 是G的有效维数。 隐变量势学习爬山算法 隐结构学习双重爬山算法 贝叶斯网络用于分类和因果关系分析 (1) Na?ve Bayesian networks (2) Tree augment Bayesian networks, et al. (3) PC (Spirtes et al.,2000) , IC(Pearl,2000) algorithm 动态贝叶斯网络 DBN: Dynamic Bayesian networks Dealing with time In many systems, data arrives sequentially Dynamic Bayes nets (DBNs) can be used to model such time-series (sequence) data Special cases of DBNs include State-space models Hidden Markov models (HMMs) Software Tools Microsoft’s MSBNX BNT Kevin Murphy. BayesNet Toolbox for Matlab (BNT). http://www.cs.ubc.ca/~murphyk/Software/BNT/bnt.html, 2001. 参考文献 (美)拉塞尔，(美)诺文 著. 姜哲 等译. 人工智能—一种现代 方法(第二版)，北京：人民邮电出版社，2004.6. (Chapter 13,14,15,20). Kevin Patrick Murphy. Dynamic Bayesian Networks: Representation, Inference and learning. PhD dissertation, University of California, Berkeley, 2002. David Heckerman. A Tutorial on Learning with Bayesian Networks. Microsoft Technical Report.No.MSR-TR-95-06.Microsoft Research, March 1995 (revised November 1996) Richard E. Neapolitan. Learning Bayesian Networks. Prentice Hall Series in Artificial Intelligence, Pearson Education, Inc., Pearson Prentice Hall, Upper Saddle River, NJ 07458, 2004. Northeastern Illinois University, Chicago, Illinois. 贝叶斯网络简介Introduction to Bayesian Networks  基本框架 贝叶斯网络：? 概率论 ? 图论 基本思路 贝叶斯网络是为了处理人工智能研究中的不确定性(uncertainty)问题而发展起来的. 贝叶斯网络是将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。 BN是一种系统地描述随即变量之间关系的工具。建立BN的目的主要是进行概率推理(probabilistic inference)。 用概率论处理不确定性的主要优点是保证推理结果的正确性。 几个重要原理 链规则(chain rule) 贝叶斯定理(Bayes’ theorem) 利用变量间条件独立性 What are they? Bayesian nets are a network-based framework for represe