清华大学模式识别-03_第3章概率密度函数的估计资料.docVIP

第3章 概率密度函数的估计 3.1 引言 在第2章中，我们讨论了设计贝叶斯分类器的方法，即在先验概率和类条件概率密度已知的情况下，按一定的决策规则确定判别函数和决策面。但在实际工作中，类条件概率密度常常是未知的。以例2.1来说，我们不可能直接知道先验概率和类条件概率密度。但是我们可能从经验中知道玉米和杂草的大致比例，因而可能推断出先验概率。此外我们还可能得到一些玉米和杂草的样本。这就需要我们从这些样本中去估计出玉米和杂草的类概率密度及。这就是本章要讨论的有关概率密度函数的估计问题。 在实际中，我们能收集到一些样本，而未知的则可能是： 类条件概率密度，即各类的概率密度分布 ； 先验概率。 我们的最终任务是利用样本集设计分类器。一个很自然的想法是把分类器设计过程分为两步：第一步，利用样本集估计和，分别记为和。解决这样的问题可以利用统计推断中的估计理论。第二步，再将估计量和代入第2章的贝叶斯决策规则中，完成分类器设计。我们将这样的分类器设计过程称为基于样本的两步贝叶斯决策。 利用两步贝叶斯决策方法得到的分类器性能与第2章理论上的贝叶斯分类器有所不同。我们希望当样本数目时，基于样本的分类器能收敛于理论上的结果。为此，只要说明时，和收敛于和就可以了。这在统计学中可通过对估计量性质的讨论来解决。 一旦得到了和，我们就可以利用第2章的方法实现一个分类器。因此，我们本章的主要任务是利用样本集估计