- 1、本文档共23页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
模式识别课件第三章NO(概率密度函数估计).ppt
第三章 概率密度函数的估计 一 引言 前述是在已知P(wi)和p(x |wi)情况下进行讨论的。 但实际中,我们能收集到的是有限数目的样本,而未知的则可能是: ① 条件概率密度(各类的总体分布)p(x|wi) ; ② 先验概率P(wi) 。 也许P(wi) 和p(x |wi)的形式可知,但其中的参数未知。 这时就利用统计推断中的估计理论:如利用样本集估计 p(wi)和p(x|wi) (分别记为 和 ) 二 参数估计的基本概念 1 参数估计的类型 (1) 监督参数估计:样本所属的类别及p(x|wi)的形式为已知,而概率密度p(x|wi)中的一些参数是未知的。 这时要由已知类别的样本集对总体分布的某些参数进行估计。 (2) 非监督参数估计:已知p(x|wi)的形式,但未知样本所属类别。 这时就要估计概率密度中的一些参数。 注:监督与非监督参数估计的区别:样本所属类别是已知还是未知的。 (3) 非参数估计:已知样本所属类别,但未知p(x|wi)形式。 这时就要推断出概率密度函数。 2 名词解释 (1) 训练(学习):在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道时,而根据样本来确定他们,这项工作成为训练或学习。 (2) 总体(母体):一个模式类。 (3) 总体的子样:一个模式类中某些模式(总体中的一些元素)的集合称之这个总体的子样。 (4) 统计量:由样本构造的函数d(xi,…,xn ),即针对不同要求构造出样本的某种函数。 (5) 经验分布:由样本推断的分布。 (6) 估计:由样本按某种规则构造的一个统计量 θ’=θ(x1,x2,…,xn),用θ’的值作为被估参数集θ的近似值。 (7) 点估计:构造一个统计量d(x1,…,xn )作为参数θ的估计θ’。 (8) 估计量:在统计学中称θ’为θ的估计量。 (9) 估计值:将类别wi中的几个样本观察值x1i,…,xni代入统计量d中所求得的第i类的具体数值θ’。 (10) 区间估计:在一区间内对θ进行估计,此区间称为置信区间。 (11) 参数空间:在概率密度形式已知,而未知的是其所含(几个)参数时,则未知参数(记为θ)的取值范围(即集合)称为参数空间。 三 参数估计的几种常用方法 1 最大似然估计 (1) 假设: ① 按类别把样本集分开,设有c类,即有c个样本集?1, ?2,…, ?c,其中?j的样本X =(x1,…,xn)是按类条件概率密度为p(X|wj)从总体中独立抽取的。 ② p(X|wj)的函数形式已知,但其参数向量θj未知,且θj唯一地是由p(X|wi)决定的(将其记为p(X|wj,θj) ,即表示p(X|wj)与θj有关。或说认为此概率密度是由θj、wj作为条件的条件概率密度)。 ③ 参数θ是由样本集唯一地确定(即θ是确定而未知的量)。 ④ 假设?i类中的样本不包含θj(i≠j)的信息,即不同类别的参数在函数上是独立的。 (2) 现在的问题就是:从样本提供的信息来得到参数向量θ1, θ2 ,… ,θc(每个类得到一个参数向量θ)的估计值。 (3) 最大似然估计的基本思想:如果在一次观察中一个事件X出现了,那么可认为这个事件出现的可能性很大 。这里,事件X ={x1,x2,…,xn}是按概率密度p(X|wi)从总体中抽出的样本,这时就认为p(X|θ)达到了最大值,使p(X|θ)达到最大值的θ’就是θ的最大似然估计。 (4) 最大似然估计的求解 设已得到属于同一类的N个样本,即 X = {x1,…,xN} 它们具有概率密度p(xk|θ) (k=1,…,N),且样本是独立抽取的,则 N p(X|θ) = p(x1,…,xN|θ) = ∏ p(xk|θ) (2-26) k=1 p(X|θ)是θ的函数(将其称为相对于样本集X的θ的似然函数,记为l(θ) ),即 N l(θ) = p(X|θ) = ∏ p(
您可能关注的文档
最近下载
- 《市级国土空间生态修复规划编制指南》.pdf
- 坠床跌倒护理持续质量改进ppt.pptx
- 英语新闻ppt(含讲稿).pptx VIP
- 感觉信息处理及自我调节能力检核表Sensoryprocessingandself-regulationchecklist,SPSRC.docx
- 做守纪知纪明纪的模范.pptx VIP
- 餐厅服务方案.docx VIP
- 苏教版三年级数学上册知识点整理.docx VIP
- 【微专题】2014-2024高考语文文言文挖空训练( I 卷、II 卷、甲卷、乙卷)教师版.doc VIP
- 公司安全事故隐患内部举报、报告奖励制度范本.docx
- 第一单元《中国共产党的领导》练习题试题含答案.docx VIP
文档评论(0)