数据挖掘浙江大学计算机学院.ppt

内容提纲 何谓贝叶斯网络？ 贝叶斯网络的语义 条件分布的有效表达 贝叶斯网络中的精确推理 贝叶斯网络中的近似推理 课后习题、编程实现及研读论文 7.1 何谓贝叶斯网络？ 贝叶斯网络的由来 贝叶斯网络的定义 贝叶斯网络的别名 独立和条件独立 贝叶斯网络示例 贝叶斯网络的由来 全联合概率计算复杂性十分巨大 朴素贝叶斯太过简单 现实需要一种自然、有效的方式来捕捉和推理——不确定性知识 变量之间的独立性和条件独立性可大大减少为了定义全联合概率分布所需的概率数目 7.2 贝叶斯网络的语义 贝叶斯网络的两种含义 对联合概率分布的表示 — 构造网络 对条件依赖性语句集合的编码 — 设计推理过程 贝叶斯网络的语义 P(x1,..., xn) = P(x1|parent(x1)) ... P(xn|parent(xn)) 贝叶斯网络的语义公式计算示例： 试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时John和Mary都给你打电话的概率。 解： P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e) = 0.9×0.7×0.001×0.999×0.998 = 0.00062 = 0.062% 7.3 条件概率分布的有效表达 线性高斯分布： P(c | h, subsidy) = N(ath + bt, ?t2)(c) = 1/ (?t21/2?) e –1/2{[c-(ath + bt)]/?t]} P(c | h, ~subsidy) = N(afh + bf, ?f2)(c) = 1/ (?f21/2?) e –1/2{[c-(afh + bf)]/?t]} S型函数(Sigmoid function) p(buys | Cost = c) = 1 / {1 + exp[-2(-u+?)/ ?]} 7.5 贝叶斯网络的近似推理 大规模多连通BN的精确推理是不可操作的， 必须通过近似推理来解决。 后验概率计算的主要采样方法 直接采样方法 马尔可夫链蒙特卡罗（MCMC）方法 变分法(Variational method) 环传播(Loopy propagation)方法 直接采样方法： 直接采样算法 拒绝采样(Rejection sampling)算法 似然加权(Likelihood weighting)算法 上述方法的详细步骤请参见： 《人工智能：一种现代方法》第14章14.5.1节 Berkeley大学Russell等人制作的PPT / 马尔可夫链蒙特卡罗（MCMC）算法思想： 对前一个事件进行随机改变而生成事件样本 BN为每个变量指定了一个特定的当前状态 下一个状态是通过对某个非证据变量Xi进行采样来产生，取决于Xi的马尔可夫覆盖中的变量当前值 MCMC方法可视为：在状态空间中—所有可能的完整赋值空间—的随机走动—每次改变一个变量，但是证据变量的值固定不变。 * * 浙江大学研究生《人工智能引论》课件 徐从富(Congfu Xu) PhD, Associate Professor Email: xucongfu@ Institute of Artificial Intelligence, College of Computer Science, Zhejiang University, Hangzhou 310027, P.R. China September 11, 2005第一稿 Oct. 8, 2006第二次修改稿 第七讲 贝叶斯网络初步(Chapter7 Bayesian Networks ) “Above all else, guard your heart, for it is the wellspring of life.” from Proverbs 4:23 NIV B. 贝叶斯网络的定义 是一个有向无环图(DAG) 随机变量集组成网络节点，变量可离散或连续 一个连接节点对的有向边或箭头集合 每节点Xi都有一个条件概率分布表：P(Xi|Parents(Xi))，量化其父节点对该节点的影响 C. 贝叶斯网络的别名 信念网(Belief Network) 概率网络(Probability Network) 因果网络(Causal Network) 知识图(Knowledge Map) 图模型(Graphical Model)或概率图模型(PGM) 决