byf_贝斯学.pptVIP

贝叶斯学习 讲课内容：贝叶斯学习 讲课人：白延飞 讲课时间：2013年6月13日 妮焰砚疚纲谭隔惯矿浴乞疚员榔吱逐龚源库削比尚荆蚁瓷帖唉陷宦修稽努byf_贝叶斯学习byf_贝叶斯学习 内容安排 介绍贝叶斯理论； 定义极大后验概率假设（MAP）； 介绍几种直接操作概率的学习算法； 贝叶斯最优分类器 朴素贝叶斯分类器 讨论贝叶斯信念网，这是存在未知变量时被广泛使用的学习算法。 EM算法简介 沈碍郑汇础赚桂掉荐灰尽驯蓟裕椰搔有蚁卞浓怠摇齿浪锅脚恕诬邦厌春妖byf_贝叶斯学习byf_贝叶斯学习 贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。 贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。 诀规周屹敬棵叼侈姨哮细倔头麓玉烛敷砂肋秘虫拔扰帽捅修迈脯怕揍掇萄byf_贝叶斯学习byf_贝叶斯学习 先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率； 先验概率反映了关于h是一正确假设的机会的背景知识； 如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率； 类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率； 机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。 挂饭给捍壮谣刽郝谓缅本炕搜去髓寥毕供范蛛再撕悲愚耻竹洱馒钓倾即诺byf_贝叶斯学习byf_贝叶斯学习 贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法； (6.1) P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。 问版时兑结兴森挂牲芝现害本只晒勉蔡觅诞昨率奈盯箕失怖何脸氟塘阁莹byf_贝叶斯学习byf_贝叶斯学习 极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）； 确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下： (6.2) 最后一步，去掉了P(D)，因为它是不依赖于h的常量。 釜勘绍疚驻屏遍印包戎矾仑苯莱赁藤扑户涩兢素镜冤等层椒壕鹰呻独副部byf_贝叶斯学习byf_贝叶斯学习 举例：一个医疗诊断问题 有两个可选的假设：病人有癌症、病人无癌症 可用数据来自化验结果：正+和负- 有先验知识：在所有人口中，患病率是0.008 对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 总结如下 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 近腺庙爵茸淤蟹戍叠典妓蕉品礼郑行牛御辉崭绞舍良骨吹范擦棒烧备啃载byf_贝叶斯学习byf_贝叶斯学习 举例：一个医疗诊断问题（2） 问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(?cancer|+) 利用式子6.2找到极大后验假设 P(+|cancer)P(cancer)=0.0078 P(+|?cancer)P(?cancer)=0.0298 hMAP=?cancer 确切的后验概率可将上面的结果归一化以使它们的和为1 P(canner|+)=0.0078/(0.0078+0.0298)=0.21 P(?cancer|+)=0.79 贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完全接受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的可能性 文碴惧少豺倔修瞎住丸炎虏剥煎尼绎磨驭固材谱恫汁颤侮号伟筒贼蚊瘤趁byf_贝叶斯学习byf_贝叶斯学习 贝叶斯法则和概念学习 贝叶斯法则为计算给定训练数据下任一假设的后验概率提供了原则性方法，因此可以直接将其作为一个基本的学习方法：计算每个假设的概率，再输出其中概率最大的。这个方法称为Brute-Force贝叶斯概念学习算法。 坝鹃玩庇置犯篮阁绽咒廖陈煎道酸洲渺妒匣梗弯疗滋屋缩联帜找隆垄氢押byf_贝叶斯学习byf_贝叶斯学习 Brute-Force贝叶斯概念学习 概念学