第4讲 统计分类(三)--贝叶斯分类器的的设计和的分析.pptVIP

第4讲 统计分类(三)--贝叶斯分类器的的设计和的分析.ppt

  1. 1、本文档共35页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第4讲 统计分类(三)--贝叶斯分类器的的设计和的分析

速冻大哥个 规范 模式识别 第六讲 统计模式识别(三) --贝叶斯分类器的设计和分析 回顾: 一、贝叶斯分类器设计 1、贝叶斯分类器设计的原理 一、贝叶斯分类器设计 2、参数估计与非参数估计 参数估计: 先假定研究的问题具有某种数学模型,如正态分布,二项分布,再用已知类别的学习样本估计里面的参数。 非参数估计: 不假定数学模型,直接用已知类别的学习样本的先验知识直接估计数学模型。 一、贝叶斯分类器设计 (1)最大似然估计 假定: ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1,X2,X3,… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息,所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 一、贝叶斯分类器设计 ∵学习样本独立从总体样本集中抽取的 ∴ 即 N个学习样本出现概率的乘积 取对数 : 一、贝叶斯分类器设计 有时上式是多解的, 上图有5个解,只有一个解最大即 一、贝叶斯分类器设计 多维正态分布情况 ① ∑已知, μ未知,估计μ 服从正态分布 则有 最优μ值满足 一、贝叶斯分类器设计 所以 未知均值的最大似然估计是训练样本的算术平均值。 一、贝叶斯分类器设计 一、贝叶斯分类器设计 B.多维情况:n维特征 估计值: 结论:①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术平均(nⅹn阵列, nⅹn个值) 一、贝叶斯分类器设计 (2)贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量,而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量,通过对第i类学习样本Xi的观察,使概率密度分布P(Xi/θ)转化为 后验概率P(θ/Xi) ,再求贝叶斯估计。 估计步骤: ①确定θ的先验分布P(θ),待估参数为随机变量。 ②用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布P(xi|θ),它是θ的函数。 ③?利用贝叶斯公式,求θ的后验概率 ? ④ 假定c个类型区域均相邻,统一判决规则为 若 则 上式等效于 决策面方程 如果类型ωi和ωj的区域是相邻的,他们之间的决策面方程为 判别函数为: 三、贝叶斯分类的错误率 1、错误率的概念 错误率就是根据判别规则进行分类, 分类结果与真实情况不符的概率。 例如:按最小错误率分类规则, * * 贝叶斯分类器的设计 正态分布条件下的贝叶斯分类 贝叶斯分类的错误率 数理统计基础 贝叶斯分类的基本原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 贝叶斯分类器中只要知道先验概率,类条件概率密度 P(ωj),P(x/ωj) 就可以设计分类器。而P(ωj),P(x/ωj) 需要利用训练样本集的信息去进行估计。 3、类概率密度函数的估计 根据以上四条假定,我们只分别利用各类学习样 本来估计各类的概率密度函数。 一般方法 第i类样本的类条件概率密度: P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi/θi)看成θi的函数,求出使它最大时的θi值。 一、贝叶斯分类器设计 对θi求导,并令它为0: P(Xi/θi) 得 ② ∑, μ均未知 A. 一维情况:n=1 对于每个学习样本只有一个特征的简单情况: 二、正态分布条件下的贝叶斯分类 1、贝叶斯分类的判别函数和决策面 判别函数 假定有c类问题,用ω1, ω2, ….,ωc表示c个类型,则 对最小错误率判决规则,判别函数可定义为: 对于最小风险判别规则,判别函数可定义为: 对于最大似然比判别规则,判别函数可定义为: 二、正态分布条件下的贝叶

文档评论(0)

qiwqpu54 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档