模式识别概率密度估计课件.pptVIP

第三章概率密度函数的估计1

?前一章我们讨论了各种决策规则，在设计分类器时，总是假定先验概率和类条件密度函数是已知的。?在实际工作中，先验概率和类条件密度函数都可能未知。?需要利用样本设计分类器。2

利用样本设计分类器的方法有两种：1)从样本中估计先验概率和类条件密度函数，然而按前一章的方法2）不作估计，直接利用样本设计分类器?在用第一种方法时，需要从收集的样本中去估计先验概率和类条件密度函数。?这就要用到估计理论。讨论如何估计（估计的方法），估计的好坏、性质。3

?从样本中估计概率密度函数时，有以下一些情况：最大似然估计(把待估参数看作是确定的)有监督的参数估计(样本类别已知)参数估计(分布形概率式已知密度估计,但参数要无监督的参贝叶斯估计(把待估参数看作估计)数估计(样本类别未知)是随机的)非参数估计(分布形式未知,直接估计密度函数)Parzen窗估计K近邻估计?NK近邻分类法4N

?参数估计中的一些基本概念：1)统计量：针对不同的要求所构造的样本的函数，包含了总体的信息；2)参数空间：未知参数全部可允许值的集合；3)点估计：构造一个统计量作为待估参数的值，即估计参数值；4)区间估计：估计待估参数可能取值的区间。5

3.1常数参数的估计?一般要估计的参数可能是标量、向量、矩阵。不失一般性，假定待估参数是向量。?在最大似然估计中，把待估参数看作是确定的常数。?而贝叶斯估计则把看作是随机变量，它的先验密度是已知的。6

一.最大似然估计?令x是随机向量的密度函数中的向量参数（其分量是标量）。记x的密度函数为，令是观测x所得到的N个样本。在估计问题中，这些样本本身也是随机变量，可以用一个联合密度函数表示。是独立是的函数。的似然函数。?假定这些样本的。它是7

N个观测样本?的最大似然估计是，在N个观测样本的基础上，选择这样的，它使似然函数最大。?换句话说，选择的应使落在（样本）的附近小区域内最大。(当均匀分布时，发生概率最大)?只要导数存在，使似然函数最大的可以通过解下面的似然方程或对数似然方程得到：8

?由于对数函数是单调增的，所以这两个方程完全是等价的。用时哪个方便，就用哪个。?例1：计算机通道输出请求出现率的估计§假定计算机的某一通道输出请求的时间间隔T按如下的指数函数分布：§假定观察了N+1个请求，间隔时间为，希望估计参数α的大小（称为到达率）9

?解：输出请求间的间隔假定为独立的。§似然函数（联合密度函数）为§而（对数似然方程）§∴10

?例2：多元正态密度函数均值的估计。（上面的例子估计了一个标量参数，本例估计一个向量参数。）§已知随机变量x是正态分布的，协方差矩阵K已知，均值m未知。给出N个样本x(1)，x(2)，…，x(N)，求均值的最大似然估计。?解：似然函数是样本的联合密度函数11

§对数似然函数为样本联合密度函数的对数：§将上式对m求导并令它等于0，有§∵K是一个常数矩阵§∴§即均值的最大似然估计等于样本均值。12

?在用求导数的方法解似然方程时（求极值），有时可能遇到一些问题：有多个极值点；或没有极值点。?下面看一个例子。?例3：已知x服从均匀分布?解：给出了N个样本x(1)，x(2)，…，x(N)§似然函数为13

§对数似然函数为§欲使上两式等于0，行。必须无穷大才§而因为不能大于最小的样本值§不能小于最大的样本值14

§同时为使似然函数最大，而最小的可能值是要最小，。§∴，（似然函数在最大值的地方没有零斜率）15

二.估计量的性质（注意语言中的断句、分词）?参数的一个估计量是样本的函数：?所以估计量本身也是一个随机向量。因此可以在统计的意义上描述它的性质，建立评价“估计好坏”的标准。1.无偏性（unbiased）§若，则称是无偏的，否则称为有偏的。§若，则称是渐进无偏的。16

2.一致性（consistent）§若对任意小的正数，有则称是一致的。（※）§称估计的序列为在概率上收敛于。§有的人定义一致性为（※※）§这称为在均方（meansquare）意义上收敛于。17

§在大多数情况下，可以认为这两种定义等价。实际上，（※）的定义比（※※）更强。3.有效性（efficient）§若和都是的估计?当时，称估计比有效。样本容量N固定?即当使取得最小值的估计称为的有效估计。18

§如果是无偏的，且比有效，则是一致估计。可以证明，最大似然估计是一致的。*Cramer-Rao定理：如果是的任一无偏估计，则估计的任一分量的方差满§足（※）?式中，是下面矩阵J的逆矩阵的对角线元素：?