模式识别第六讲-概率密度估计.ppt

第三章 概率密度函 数的估计 利用样本设计分类器 的方法有两种： 从样本中估计先验概率和类条件密度函数，然后设计Bayes分类器 样本均值和先验均值的线性组合，系数和为1，且都是正的。 Parzen窗法应用举例 假定待估计的未知概率密度函数是两个均匀分布密度函数的混合，即： 如果采用正态窗函数 并设 那么 就是一个以个样本为中心的正态密度窗函数的一个平均，即： 参数h1影响窗宽。 考虑h1取0.25，1和4三个不同的数值，用随机数发生器按给定的概率密度函数产生随机样本，然后用上式估计 ，计算结果如下： 在样本数无穷多时，得到的 不受 参数 h1 的影响。 下面对上述方法作些分析。 如果把区间2h（在多维时是体积V）固定，当样本数越来越多时， 概率，但得到的密度却是区间的平均值，而非某一点 的 ； 要得到 ，而不是 的平均值，则体积V（2h） 0，但当V 0时，若样本数有限，则 实际上样本数总是有限的，因此，不能使体积V（2h）无限小。 应该让体积 V 随着可用样本数 N 而改变。如何变呢？ 假定有 N 个样本可以利用。 这时有 ，下标 N 表示总样本数。 （一维时即 ） 若满足以下三个条件： 使空间平均密度 点的 频率收敛于概率 落在小区域内的样本同总数相比是低阶无穷大 则 收敛于 满足上述三个条件的区域序列 的选择： Parzen窗方法选择使 以 变化。 是窗函数，它随着可用样本数 N 的增多而变窄变高 (按 )。 可以证明在某些限制条件下，上述估计量 是渐进无偏和均方一致的。 KN近邻估计方法的公式仍为 KN近邻估计选择使KN 为N 的某个函数（例如 ），而 的选取是使它刚好包括 的KN 个近邻。 10.0 1.0 0.1 0.01 0.001 n=1 h1=0.25 h1 =1 h1 =4 -2 0 2 -2 0 2 -2 0 2 * ?北京工业大学计算机学院? 前一章我们讨论了各种决策规则，在设计分类器时，总是假定先验概率和类条件密度函数是已知的。 在实际工作中，先验概率和类条件密度函数都可能未知。 2）不作估计，直接利用样本设计分类器 在用第一种方法时，需要从收集的样本中去估计先验概率和类条件密度函数。 这就要用到估计理论。讨论如何估计（估计的方法），估计的好坏。 从样本中估计概率密度函数时，有以下一些情况： 概率密度估计 参数估计(分布形式已知，但参数要估计) 非参数估计(分布形式未知，直接估计密度函数) 最大似然估计(把待估参数看作是确定的) 贝叶斯估计(把待估参数看作是随机的) 3.1 常数参数的估计 一般要估计的参数可能是标量、向量、矩阵。不失一般性，假定待估参数是向量 。 在最大似然估计中，把待估参数 看作是确定的常数。 而贝叶斯估计则把 看作是随机变量，它的先验密度是已知的。 一. 最大似然估计 令 是随机向量x的密度函数中的向量参数（其分量是标量）。记x的密度函数为 ，令 是观测x所得到的N个样本。在估计问题中，这些样本本身也是随机变量，可以用一个联合密度函数 表示。 假定这些样本 是独立的。 是 的函数。它是 的似然函数。 只要导数存在，使似然函数最大的 可以通过解下面的似然方程或对数似然方程得到： 的最大似然估计是，在N个观测样本的基础上，选择这样的 ，它使似然函数最大。 换句话说，选择的 应使 落在 （样本）的附近小区域内的概率最大。 N个观测样本 由于对数函数是单调增的，所以这两个方程完全是等价的。哪个用时方便，就用哪个。 例1：计算机通道输出请求出现率的估计 假定计算机的某一通道输出请求的时间间隔T按如下的指数函数分布： 假定观察了N个请求，间隔时间为 ，希望估计参数 的大小（称为到达率、出现率） 解：输出请求间的间隔假定为独立的。 似然函数（联合密度函数）为 而 （对数似然方程） ∴ 例2：多元正态密度函数均值的估计。（上面的例子估计了一