- 1、本文档共85页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
资料来自网络,请保护知识产权,请您下载后勿作商用,只可学习交流使用。
2003.12.18 机器学习-贝叶斯学习 作者:Mitchell 译者:曾华军等 讲者:陶晓鹏 机器学习 第6章 贝叶斯学习 概述 贝叶斯推理提供了一种概率手段,基于如下的假定:待考察的量遵循某概率分布,且可根据这些概率及已观察到的数据进行推理,以作出最优的决策。 贝叶斯推理为衡量多个假设的置信度提供了定量的方法 贝叶斯推理为直接操作概率的学习算法提供了基础,也为其他算法的分析提供了理论框架 简介 贝叶斯学习算法与机器学习相关的两个原因: 贝叶斯学习算法能够计算显示的假设概率,比如朴素贝叶斯分类 贝叶斯方法为理解多数学习算法提供了一种有效的手段,而这些算法不一定直接操纵概率数据,比如 Find-S 候选消除算法 神经网络学习:选择使误差平方和最小化的神经网络 推导出另一种误差函数:交叉熵 分析了决策树的归纳偏置 考察了最小描述长度原则 贝叶斯学习方法的特性 观察到的每个训练样例可以增量地降低或升高某假设的估计概率。而其他算法会在某个假设与任一样例不一致时完全去掉该假设 先验知识可以与观察数据一起决定假设的最终概率,先验知识的形式是:1)每个候选假设的先验概率;2)每个可能假设在可观察数据上的概率分布 贝叶斯方法可允许假设做出不确定性的预测 新的实例分类可由多个假设一起做出预测,用它们的概率来加权 即使在贝叶斯方法计算复杂度较高时,它们仍可作为一个最优的决策标准衡量其他方法 贝叶斯方法的难度 难度之一:需要概率的初始知识,当概率预先未知时,可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率 难度之二:一般情况下,确定贝叶斯最优假设的计算代价比较大(在某些特定情形下,这种计算代价可以大大降低)。 内容安排 介绍贝叶斯理论 定义极大似然假设和极大后验概率假设 将此概率框架应用于分析前面章节的相关问题和学习算法 介绍几种直接操作概率的学习算法 贝叶斯最优分类器 Gibbs算法 朴素贝叶斯分类器 讨论贝叶斯信念网,这是存在未知变量时被广泛使用的学习算法 贝叶斯法则 机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设。 最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设 贝叶斯理论提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身 先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。 先验概率反映了关于h是一正确假设的机会的背景知识 如果没有这一先验知识,可以简单地将每一候选假设赋予相同的先验概率 类似地,P(D)表示训练数据D的先验概率,P(D|h)表示假设h成立时D的概率 机器学习中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率 贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法 P(h|D)随着P(h)和P(D|h)的增长而增长,随着P(D)的增长而减少,即如果D独立于h时被观察到的可能性越大,那么D对h的支持度越小 极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h,h被称为极大后验假设(MAP) 确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率,计算式如下 最后一步,去掉了P(D),因为它是不依赖于h的常量 极大似然假设 在某些情况下,可假定H中每个假设有相同的先验概率,这样式子6.2可以进一步简化,只需考虑P(D|h)来寻找极大可能假设。 P(D|h)常被称为给定h时数据D的似然度,而使P(D|h)最大的假设被称为极大似然假设 假设空间H可扩展为任意的互斥命题集合,只要这些命题的概率之和为1 举例:一个医疗诊断问题 有两个可选的假设:病人有癌症、病人无癌症 可用数据来自化验结果:正+和负- 有先验知识:在所有人口中,患病率是0.008 对确实有病的患者的化验准确率为98%,对确实无病的患者的化验准确率为97% 总结如下 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 举例:一个医疗诊断问题(2) 问题:假定有一个新病人,化验结果为正,是否应将病人断定为有癌症?求后验概率P(cancer|+)和P(?cancer|+) 利用式子6.2找到极大后验假设 P(+|cancer)P(cancer)=0.0078 P(+|?cancer)P(?cancer)=0.0298 hMAP=?cancer 确切的后验概率可将上面的结果归一化以使它们的和为1 P(canner|+)=0.0078/(0.007
您可能关注的文档
最近下载
- 2024年教师学习《中国共产党纪律处分条例》心得体会.docx VIP
- 道德与法治一年级上册 第一课时 我向国旗敬个礼 课件.pptx
- 电力设施保护宣传专题培训ppt课件.pptx VIP
- 高速路板块光伏项目可行性研究报告.docx
- 华为H19-369 HCSA-Pre-sales-IT认证考试复习(重点)题库(含答案).pdf VIP
- 【人教版】2024-2025学年一年级语文上册教学计划(及进度表).docx
- PCCP管制造及安装质量控制.pdf VIP
- 新人教版数学五年级上册全册各单元教材解读课件.pptx VIP
- 产品问卷调查模板.docx VIP
- 钢板弹簧设计计算程序Ver1.0-20070405.xls
文档评论(0)