5.贝叶斯分类摘要.ppt

问题2：溢出问题 P(w|Ci) = P(w0|Ci)*P(w1|Ci)*P(w2|Ci)*P(w3|Ci) 等式右边分子中各概率的值 可能很小，而很小的数再相乘 可能会导致浮点数溢出 对等式右边的分子求对数，进而将概率相乘转换为相加： 注: log(a*b) = log(a) + log(b) 你这样乱改公式， 贝叶斯知道吗？ 问题2：溢出问题 如果不指明底数，我们默认底数为2。 y = log(x) 为增函数 若 P(a) P(b)，则 log(P(a)) log(P(b)) 朴素贝叶斯算法是通过比较待分类实例属于各个类别的概率的大小来实现分类的， 因此只要公式能体现出概率的大小关系即可，无需计算出准确的条件概率 问题3：决策风险问题 不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是: 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 问题3：决策风险问题：基于最小错误率的贝叶斯决策 分类器中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？ 当某一特征向量X只为某一类物体所特有，即 对其作出决策是容易的，也不会出什么差错。问题在于出现模凌两可的情况。此时，任何决策都存在判错的可能性。 条件概率：P(*|#)是条件概率的通用符号，P(wk|X)是表示在X出现条件下，样本为wk类的概率。 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 （1）后验概率: 如果 则 问题3：决策风险问题：基于最小错误率的贝叶斯决策 (2)如果 则 (3)似然比： 如果 则 否则 问题3：决策风险问题：基于最小错误率的贝叶斯决策 如果 则 否则 (4)似然比写成相应的负对数形式 例题1 假设在某地区切片细胞中正常（w1）和异常（w2）两类的先验概率分别为p(w1)=0.9,p(w2)=0.1。 现有一待识别细胞呈现出状态 x，由其类条件概率密度分布曲线查得p(x|w1)=0.2,p(x|w2)=0.4,试对细胞x进行分类。 例题1解答 利用贝叶斯公式，分别计算出状态为x时w1与w2的后验概率 问题3：决策风险问题：基于最小错误率的贝叶斯决策的证明 平均错误率:在观测值可能取值的整个范围内错误率的均值 两类判别情况 当p(w2|x)p(w1|x)时决策为w2，对观测值x有 p(w1|x)概率的错误率 R1:做出w1决策的所有观测值区域，条件错误概率为p(w2|x) R2:条件错误概率为p(w1|x)。因此平均错误率p(e)可表示成 在R1内任一个x值都有p(w2|x)p(w1|x)，在R2区内任一个x值都有p(w1|x)p(w2|x)错误率在每个x值处都取小者，因而平均错误率p(e)也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最小。 p(e)也可以(2-8)式写成 错误率为图中两个划线部分之和，对应的错误率区域面积为最小。 2.2基于最小风险的贝叶斯决策 但是错误率最小并不一定是一个普遍适用的最佳选择 一个与损失有关联的，更为广泛的概念—风险 观测样本x实属类别j，而被判为状态i时所造成的损失， Ri则表示了观测值x被判为i类时损失的均值 分类则依据Ri,(i=1,...,c)中的最小值，即最小风险来定。 例：病理切片 w1表示病理切片正常 w2表示病例切片异常 p(w1|x)与p(w2|x)分别表示了两种可能性的大小 定义： 自然状态：指待识别对象的类别 状态空间：由所有自然状态所组成的空间 决策：不仅包括根据观测值将样本划归为哪一类别（状态），还可包括其他决策，如拒绝等 决策空间：有所有决策组成的空间 最小风险贝叶斯决策步骤 根据贝叶斯公式计算出后验概率： 利用计算出的后验概率及决策表，计算出采取a1，i=1,..., a的条件风险 找出使条件风险最小的决策ak，即 例2 条件风险 两类决策方法之间的关系 基于最小错误率的决策是基于最小风险决策的一个特例 设损失函数为 式中假定对c类只有c个决策，既不考虑“拒绝”等其他情况，(2-17)表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数成为0—1损失函数。 两类决策方法之间的关系 根据(2-14)式条件风险为 最小错误率贝叶斯决策就是0--1损失函数条件下的最小风险贝叶斯决策 图2.4 图2.3 与图2.4 总结 条件概率 贝叶斯公式 朴素贝叶斯分类算法 防止零概率：拉普拉斯校准 浮点数溢出：