[2018年最新整理]6贝叶斯学习.pptVIP

2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 内容安排 贝叶斯理论 几种直接操作概率的学习算法 －贝叶斯最优分类器 －朴素贝叶斯分类器 －贝叶斯信念网 一、贝叶斯法则 极大后验假设 极大似然假设 举例：一个医疗诊断问题 基本概率公式表 二、几种直接操作概率的学习算法 贝叶斯最优分类器 贝叶斯最优分类器（2） 贝叶斯最优分类器（3） 贝叶斯最优分类器（4） Gibbs算法 朴素贝叶斯分类器 朴素贝叶斯分类器（2）－算法 朴素贝叶斯分类器（3） 朴素贝叶斯分类器（4） 学习分类文本 学习分类文本(2) 表6-2 用于学习和分类文本的朴素贝叶斯算法 表6-2 用于学习和分类文本的朴素贝叶斯算法(续) 实验结果 贝叶斯信念网 贝叶斯信念网的表示 贝叶斯信念网的推理 学习贝叶斯信念网 * * 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP） 最后一步，去掉了P(D)，因为它是不依赖于h的常量 确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下 在某些情况下，可假定H中每个假设有相同的先验概率，只需考虑P(D|h)来寻找极大可能假设。 P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设 已知： 有两个可选的假设：病人有癌症、病人无癌症 可用数据来自化验结果：+和- 已有先验知识：在所有人口中，患病率是0.008；对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 问题： 假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？ 总结 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 求后验概率P(cancer|+)和P(?cancer|+) 贝叶斯最优分类器 朴素贝叶斯分类器 贝叶斯信念网 考虑一个包含三个假设h1, h2, h3的假设空间。假定已知训练数据时三个假设的后验概率分别是0.4, 0.3, 0.3。若一新实例x被h1分类为正，被h2和h3分类为反。新实例最可能的分类信息为？ 一般而言，新实例的最可能分类可通过合并所有假设的预测得到，用后验概率来加权。 如果新实例的可能分类可取某集合V中的任一值vj，那么概率P(vj|D)表示新实例分类为vj的概率 新实例的最优分类为使P(vj|D)最大的vj值，贝叶斯最优分类器为： 例: 已知： 新实例的可能分类集合为V={+,-} P(h1|D)=0.4, P(-|h1)=0, P(+|h1)=1 P(h2|D)=0.3, P(-|h2)=1, P(+|h2)=0 P(h3|D)=0.3, P(-|h3)=1, P(+|h2)=0 因此： 贝叶斯最优分类器在给定可用数据、假设空间及这些假设的先验概率下使新实例被正确分类的可能性达到最大 贝叶斯最优分类器的一个属性：它所做的分类可以对应于H中不存在的假设，即按此定义的实例标注不一定对应于H中的任一单个假设h对实例的标注 可将贝叶斯分类器看成是不同于假设空间H的另一空间H’，在其上应用贝叶斯公式。H’有效地包含了一组假设，它能在H中多个假设的线性组合所作的预言中进行比较 贝叶斯最优分类器能从给定训练数据中获得最好的性能，但算法的开销很大 一个替代的、非最优的方法是Gibbs算法，定义如下： 按照H上的后验概率分布，从H中随机选择假设h 使用h来预言下一个实例x的分类 在一定条件下，Gibbs算法的误分类率的期望值最多为贝叶斯最优分类器的两倍。确切地讲，期望值是在随机抽取的目标概念上作出的，抽取过程按照学习器假定的先验概率 对概念学习问题的一个启示：如果学习器假定H上有均匀的先验概率，而且如果目标概念实际上也按该分布抽取，那么当前变型空间中随机抽取的假设对下一实例分类的期望误差最多为贝叶斯分类器的两倍。 朴素贝叶斯分类器引入一个简单的假定避免数据稀疏问题：在给定目标值时，属性值之间相互条件独立，即 应用的学习任务：每个实例x可由属性值的合取描述，而目标函数f(x)从某有限集合V中取值 贝叶斯方法的新实例分类目标是在给定描述实例的属性值a1,...,an下，得到最可能的目标值vMAP 朴素贝叶斯分类器的定义： 根据表3-2，可以计算出上式需要的概率值 P(yes)=9/14=0.6 P(no)=5/14=0.36 P(strong|yes)=3/9=0.33 P(strong|no)=3/5=0.60 ... 求vNB P(yes)P(sunny|yes)P(cool|yes)P(