清华大学模式识别课件-03_第3章概率密度函数的估计.doc

第3章 概率密度函数的估计 3.1 引言 在第2章中，我们讨论了设计贝叶斯分类器的方法，即在先验概率和类条件概率密度已知的情况下，按一定的决策规则确定判别函数和决策面。但在实际工作中，类条件概率密度常常是未知的。以例2.1来说，我们不可能直接知道先验概率和类条件概率密度。但是我们可能从经验中知道玉米和杂草的大致比例，因而可能推断出先验概率。此外我们还可能得到一些玉米和杂草的样本。这就需要我们从这些样本中去估计出玉米和杂草的类概率密度及。这就是本章要讨论的有关概率密度函数的估计问题。 在实际中，我们能收集到一些样本，而未知的则可能是： 类条件概率密度，即各类的概率密度分布 ； 先验概率。 我们的最终任务是利用样本集设计分类器。一个很自然的想法是把分类器设计过程分为两步：第一步，利用样本集估计和，分别记为和。解决这样的问题可以利用统计推断中的估计理论。第二步，再将估计量和代入第2章的贝叶斯决策规则中，完成分类器设计。我们将这样的分类器设计过程称为基于样本的两步贝叶斯决策。 利用两步贝叶斯决策方法得到的分类器性能与第2章理论上的贝叶斯分类器有所不同。我们希望当样本数目时，基于样本的分类器能收敛于理论上的结果。为此，只要说明时，和收敛于和就可以了。这在统计学中可通过对估计量性质的讨论来解决。 一旦得到了和，我们就可以利用第2章的方法实现一个分类器。因此，我们本章的主要任务是利用样本集估计和。一般来说，有两类方法估计概率密度函数。一类是参数方法。在参数方法中，假设函数形式是已知的，未知的是函数的参数。通过估计参数来完成概率密度函数的估计。这里我们只考虑两种常用的方法。一种是最大似然估计方法，另一种是贝叶斯估计方法。虽然这两种估计的结果通常是近似相等的，但从概念上和观点上来说它们是完全不同的。最大似然估计把参数看作是确定而未知的，最好的估计值是在获得实际观察样本的概率为最大的条件下得到的。这时的参数估计基本上依赖于使用的样本。而贝叶斯估计则把未知的参数当作具有某种分布的随机变量，考虑了未知参数的先验分布，从而得到对参数的更好的估计。 另一类方法是非参数估计。在非参数估计中假设概率密度函数的形式是未知的，要求我们直接推断概率密度函数本身。我们知道，在统计学中常见的一些典型分布形式不总是能够和实际中的数据分布吻合。这就迫使我们必须考虑非参数估计方法。本章仅讨论两种推断类条件概率密度的方法——Parzen窗法及近邻法。而直接利用样本设计分类器的非参数方法则放到后面几章去讨论。 3.1.1 参数估计的基本概念 参数估计是统计推断的基本问题之一。下面介绍参数估计中的几个基本概念。 (1) 统计量：样本中包含着分布的信息，我们希望通过样本集把有关样本的分布信息抽取出来，就是说针对不同要求构造出样本的某种函数，这种函数在统计学中称为统计量。如：样本的均值，方差等量。 (2) 参数空间：在参数估计中，我们总是假设概率密度函数的形式是已知的。未知的是分布中的一些参数。通常把未知参数列为一个向量，记为。在统计学中，将未知参数向量的全部可能取值组成的集合称为参数空间，记为。 (3) 点估计、估计量和估计值：点估计问题就是要构造一个统计量作为参数的估计，这被称为的估计量。如果是属于类别的个样本观察值，代入统计量就得到对于第类的的具体数值，这个数值被称为的估计值。 (4) 区间估计：除点估计外，还有另一类估计，它要求用区间作为可能取值范围的一种估计。这个区间被称为置信区间，这类估计问题被称为区间估计。 估计总体分布的具体参数是一个点估计问题。我们下面介绍两种主要的点估计方法：最大似然估计和贝叶斯估计，它们都能得到相应的估计值。当然评价一个估计的“好坏”，不能按一次抽样结果得到的估计值与参数真值的偏差大小来确定，而必须从平均的和方差的角度出发进行分析。统计学中有一些关于估计量性质的分析。我们将利用统计学中的方法对参数估计的结果进行分析。 3.2最大似然估计 3.2.1 最大似然估计方法 在最大似然估计方法中有以下假设： (1) 待估计的是(非随机)未知的量。 (2) 假定有个类，则总的样本由个样本集构成，其中中的样本都是从概率密度为的分布中独立抽取出来的。 (3) 类条件概率密度具有某种确定的函数形式。例如，正态分布、指数分布、分布、分布等等，但其参数向量未知。例如一维正态分布，未知的参数为。为了表示同有关，就把记成。 (4)假定中的样本不包含关于的信息，也就是说不同类别的参数在函数上是独立的，这样就可以对每一类分别处理。也就是说中的样本只对提供有关信息，而没有关于的任何信息。 有了这些假设，就可以按照下面的方法分别处理个类别的概率密度函数的估计问题。 已知一个包含有个样本的样本集，即 (3-1) 我们假设这些样本是从一个概率分布函数中独立