Lecture 7_Bayes Learning_2 机器学习概论 教学课件.ppt

贝叶斯网络－基本定义 有向无环图 (DAG) Directed Acyclic Graph 结点表示随机变量 边代表因果关系 Burglary Earthquake Alarm JohnCalls MaryCalls 贝叶斯网络－基本定义 条件概率表 (conditional probability table, CPT) 每个结点有一个条件概率表。 CPT给出在每个可能父结点取值组合的条件下，该结点每个值的出现概率。 对无父结点的根结点， CPT给出先验概率 (prior probabilities)。 Season Locale Fish Brightness Thickness s1 =winter s2 =spring s3 =summer s4 =autumn P(s) P(s1) P(s2) P(s3) P(s4) 0.25 0.25 0.25 0.25 l1 =north atlantic l2 =south atlantic P(l) P(l1) P(l2) 0.6 0.4 f1 =salmon f2 =sea bass P(f1 | si, lj) P(f2 | si, lj) s1 l1 0.5 0.5 s1 l2 0.7 0.3 s2 l1 0.6 0.4 s2 l2 0.8 0.2 s3 l1 0.4 0.6 s3 l2 0.1 0.9 s4 l1 0.2 0.8 s4 l2 0.3 0.7 P(f|s,l) t1 = wide t2 =thin P(t1 | fi) P(t2 | fi) f1 0.3 0.7 f2 0.6 0.4 b1 = light b2 = medium b3 = dark P(b1 | fi) P(b2 | fi) P(b3 | fi) f1 0.6 0.2 0.2 f2 0.2 0.3 0.5 条件概率表－小结 全局线性，局部指数 n个结点，每个结点平均k个父结点，求需估计参数的个数？ 每个结点的CPT表中参数（概率）的数目与父结点数目呈指数关系。 贝叶斯网络的联合分布 贝叶斯网络隐含定义了一个联合分布 例子 Burglary Earthquake Alarm JohnCalls MaryCalls 贝叶斯网络与朴素贝叶斯 朴素贝叶斯可看成一个简单的贝叶斯网络。 先验概率P(Y)和条件概率P(Xi|Y)构成了网络的CPT。 Y X1 X2 … Xn 贝叶斯网络－推理 (Inference) 给定证据变量(evidence variables) ，计算查询变量 (query variables)的后验概率。 例子 考虑鱼分类问题：一条渔船四季在南北大西洋捕鱼，捕到的鱼有两种，鲑鱼(salmon)和鲈鱼 (sea bass)，通过仪器设备可以检查出鱼的明亮度和厚度。通过大量的经验记录，获得了以下的贝叶斯网络。希望通过这个网络，利用已知的信息，推测捕获的鱼是那类鱼，从而实现对鱼的自动分类，提高效率。 已知一条鱼是在夏天于北大西洋捕获的，且是亮度是暗的且体型单薄，请问这条鱼属于鲑鱼和鲈鱼的概率各为多少？ Season Locale Fish Brightness Thickness s1 =winter s2 =spring s3 =summer s4 =autumn P(s) P(s1) P(s2) P(s3) P(s4) 0.25 0.25 0.25 0.25 l1 =north atlantic l2 =south atlantic P(l) P(l1) P(l2) 0.6 0.4 f1 =salmon f2 =sea bass P(f1 | si, lj) P(f2 | si, lj) s1 l1 0.5 0.5 s1 l2 0.7 0.3 s2 l1 0.6 0.4 s2 l2 0.8