- 1、本文档共66页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
3_概率密度函数估计.ppt
模 式 识 别Pattern Recognition 吴贵芳 easyfancy@126.com 谢谢! 讨论: 1.当样本数足够大时,?n?样本均值; ?n?0 2.先验知识与经验数据对估计值影响。 当观察一个样本时,N=1就会有一个μ的估计值的修正值;当观察N=4时,对μ进行修正,向真正的μ靠近;当观察N=9时,对μ进行修正,向真正的μ靠的更近 当N↑,μN就反映了观察到N个样本后对μ的最好推测,而σN2反映了这种推测的不确定性, N↑, σN2↓,σN2 随观察样本增加而单调减小,且当N→∞, σN2 →0 当N↑,P(μ|xi)越来越尖峰突起.N→∞, P(μ|xi)→σ函数,这个过程成为贝叶斯学习。 一元正态分布方差的估计 多元正态分布参数最大似然估计 均值估计是无偏的,协方差矩阵估计是有偏的。 协方差矩阵的无偏估计是: 最大似然估计示例 最大似然估计是把参数 看成为确定的未知参数。定义似然函数为 它给出了从总体中抽出 这样 N 个样本的概率。 多维情况下的估计参数为: , 单维情况下的估计参数为: 3.2.2 Bayes估计和Bayes学习 1 Bayes估计 这里我们先回顾一下前面讲述的最小风险Bayes决策。 ——状态空间 ——观察或测量到的 d 维模式特征向量; ——决策空间 ——损失函数,表示真实状态为 而所采取的决策为 时所带来的某种损失。 给定 ,我们采取决策 情况下的条件期望损失: R表示采取决策 ?k总的平均损失。R称为Bayes风险,使R最小的决策 ?k称为Bayes决策。 是特征空间 中取任意值的随机变量,条件风险的期望 Bayes决策 确定 x 的真实状态 ?i (模式类) Bayes估计 根据一个样本集 ,找出估计量 ,估计 所属总体分布的某个真实参数 使带来的Bayes风险最小 令 为 代替 所造成的损失,对于一个观测矢量集合 ,当用 作为 的估计时,在观测 条件下的条件期望损失为 考虑到 的各种取值,我们应求 在状态空间 中的期望 , 。 Bayes估计的基本思想:所求得的 的估计值 应使估计损失的期望最小,这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ,可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差,即 由于 是关于 的二次函数, 确使 或 最 小。上式表明, 的最小方差Bayes估计是在观测 条件下的 的条件期望。在许多情况下,最小方差Bayes估计是最理想的Bayes最优估计器。 对平方误差损失函数情况求解Bayes估计量的步骤如下: (1)确定 的先验分布 ; (2)由样本集 求出样本联合分布 (3)求 的后验分布 (4) 2 Bayes学习 Bayes学习与Bayes估计的前提条件是相同的,Bayes学习不是进行概率的参数估计,而是进行总体概率的推断以获得 ,因此,它们具有某些相同的计算内容,也有不同的计算目标。它们的前三步都是相同的,只是最后一步有所不同,Bayes学习最后一步为 在 已知的条件下, H 对 已不具有什么信息 下面我们看一下最大似然估计与Bayes解的关系。 最大似然估计近似等于Bayes解(条件是 在 有尖锐的凸峰) 单变量正态分布函数的定义及性质 单变量正态分布概函数 ,有两个参数 和 完全决定,常简记为 。 期望 方差 正态分布的监督参数估计示例 Bayes估计示例 Bayes估计是把参数 看成为随机的未知参数,一般 具有先验分布 。样本通过似然函数 并利用Bayes公式将 的先验分布 转化为后验分布。 现以单变量正态分布为例,并假
文档评论(0)