3 概率密度函数估计.pptVIP

第3章 概率密度函数的估计;3.1 引言;概率分布估计方法的分类;参数估计的几个基本概念;3.2 最大似然估计;设定这些假设的目的;设：ωi类的类概率密度函数具有某种确定的函数形式；;也即：要找到一个θ，它能使似然函数 最大化 ;为便于分析，定义似然函数的对数为 ;解以上方程组即可得到θ的最大似然估计量。 ;因此， ， ， 。;由以上方程组解得均值和方差的估计量为;最大似然估计的计算问题;3.3 贝叶斯估计和贝叶斯学习; 给定 ，我们采取决策 情况下的条件期望损失： 是特征空间中的任意随机变量，条件风险的期望 表示采取决策 总的平均损失。 称为贝叶斯风险，使 最小的决策 称为最小风险贝叶斯决策。;贝叶斯决策 确定 的真实状态 （模式类） 贝叶斯估计 根据一个样本集 ，找出估计量 ，估计 所属总体分布的某个真实参数 使带来的贝叶斯风险最小 ;令 为 代替 所造成的损失，对于一个观测样本集合 ，当用 作为 的估计时，在观测 条件下的条件期望损失为 考虑到 的各种取值，求 在参数空间中的期望;贝叶斯估计的基本思想：所求得的 的估计量 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计量 称为 的贝叶斯估计。对于 不同的 ，可得到不同的贝叶斯估计结果。 这里假定损失函数为平方误差形式，即;巾蕉诲雇结牛尤籽孵缚掸跟烁佣滦肘睁粗妙坎柿呼寡扭斗煌卫锤瞧扭摇邦3 概率密度函数估计3 概率密度函数估计;求最小;由于 是关于 的二次函数， 确使 或 最 小。上式表明， 的最小方差贝叶斯估计是在观测 条件下的 的条件期望。在许多情况下，最小方差贝叶斯估计是最理想的贝叶斯最优估计器。 对平方误差损失函数情况求解贝叶斯估计量的步骤： （1）确定 的先验分布 （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4）;贝叶斯估计的步骤总结;贝叶斯学习;贝叶斯学习;式中;迭代式的使用： ;例 正态分布密度函数的贝叶斯估计和贝叶斯学习;式中， ;式中，;—— 与最大似然估计形式类似;式中，;均值的贝叶斯学习过程示意图;;参数估计方法总结;3.4 总体分布的非参数估计;概率密度函数估计的基本方法 N个样本 是从概率密度函数为 的总体中独立抽取的，则n个样本中k个样本落入区域R中的概率符合二项分布。;癸向愿篇等包惭祖垫跺力糕署肉天腹斧胆兑委需牵哪鼓陷纽插幢嫂法沈坷3 概率密度函数估计3 概率密度函数估计;概率密度函数p(x)的估计： ;3. 估计的步骤： ;Parzen窗法;落入超立方体内的样本数为;2．窗函数的选择;定义 ;2）窗函数满足以下条件：;有;估计结果： ;解：估计结果 ;* 具有一般性，适用于单峰、多峰形式。;限制条件仍然是：;关于本章的讨论