PR2010_3讲.ppt

概率论基本知识(补充);随机变量;频率和概率;联合概率和条件概率;证明: 等式左边: ;概率密度函数;全概公式;贝叶斯公式;专题三概率密度函数的估计;3.1 引言;如类先验概率P(?i)和条件概率密度p(x/?i)未知，如何去估计它们？即给定一定数量的样本，去实现这些函数的估计。 1. 2.;本专题的主要内容;监督参数估计：已知样本的类条件概率密度p(x/?i)的形式和样本所属的类别?i，去推断概率密度函数中的某些未知的参数（均值、方差）。 非监督参数估计：已知样本的类条件概率密度p(x/?i)的形式而样本所属的类别?i未知，去推断概率密度函数中的某些未知的参数。 非参数估计：已知样本所属的类别?i ，而样本的类条件概率密度p(x/?i)的形式未知.去推断概率密度函数。;对于参数估计，存在两种方法实现： 最大似然估计(Maximum likelihood estimation) Bayes估计 对非参数估计，存在两种方法： Parzen窗 kN近邻法;最大似然估计和Bayes估计区别 两种方法估计的参数的结果接近，但过程有区别：前者将未知参数看成是确定变量，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计；后者将未知参数看成是按某种分布得随机变量，样本的观察结果由先验分布转化为后验分布，再由后验分布修正参数的估计值。;3.2 参数估计;估计量的评价标准;3.2.1 最大似然估计;似然函数;最大似然估计;最大似然估计示意图;最大似然估计示意图;计算方法;昧倍膳纹岛砾驶驱济饶奇硼钞窍汰鉴队铣奠藏糟耻吩郡斟总硷面谐滴细塔PR2010_3讲PR2010_3讲;治犀门蜒唬埋术视握泣遁瓤宝盔守羞癌殊魏普油炯据出炮投虽丫宜踩镑毅PR2010_3讲PR2010_3讲;胳阎国挝座翅豢智滞骏抑旨沽丫腑汽绒舱幸素迅光莎痹眠掠澎肄言剪此或PR2010_3讲PR2010_3讲;镰槽浩壬想汾胶施技性剩另腥谈鸽缕置合橙华玻玩确贾臃秋涉啡谈酗寺哈PR2010_3讲PR2010_3讲;一元正态分布例解;一元正态分布均值的估计;一元正态分布方差的估计;多元正态分布参数最大似然估计;最大似然估计示例 最大似然估计是把参数 看成为确定的未知参数。定义似然函数为 它给出了从总体中抽出 这样 N 个样本的概率。 多维情况下的估计参数为： ， 单维情况下的估计参数为： ;颠扛猫暴锰巳甩禄岔剑贫曝砰疙艘蜂粹房韶弛癸反坍曼践六陈吊措体掖奎PR2010_3讲PR2010_3讲;畸键椰商蹄湘绷悠几面撤设萍葛用危链甄盐床积该破议越累剔婴颊乐造锹PR2010_3讲PR2010_3讲;3.2.2 Bayes估计和Bayes学习;给定 ，我们采取决策 情况下的条件期望损失： ;Bayes决策 确定 x 的真实状态 ?i （模式类） Bayes估计 根据一个样本集 ，找出估计量 ，估计 所属总体分布的某个真实参数 使带来的Bayes风险最小;令 为 代替 所造成的损失，对于一个观测矢量集合 ，当用 作为 的估计时，在观测 条件下的条件期望损失为 考虑到 的各种取值，我们应求 在状态空间 中的期望 ， 。 ;Bayes估计的基本思想：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ，可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差，即;痛愉声涅厢彼丙收断谴郑傀蝶榷棵台猴酞灌厢傀始咐菇泵画誊蠕阳沁蓟粕PR2010_3讲PR2010_3讲;助烦乖酵迢喧京想叹贰持聚羹涣倡惊练脊单参表理修惧踌铡吃酒侵指糊抠PR2010_3讲PR2010_3讲;由于 是关于 的二次函数， 确使 或 最 小。上式表明， 的最小方差Bayes估计是在观测 条件下的 的条件期望。在许多情况下，最小方差Bayes估计是最理想的Bayes最优估计器。 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4）;;;; 单变量正态分布函数的定义及性质 单变量正态分布概函数 ，有两个参数 和