概率密度数估计.pptVIP

25概率密度函数的估计 前面讨论的设计贝叶斯分类器的方法, 是在先验概率PωU,和类条件概率密度 p(xlω2)已知的情况下,按一定的决策规 则确定判别函数和决策面。 但在实际工作中,类条件概率密度常常 是未知的。 ≥以癌细胞识别为例,医生也许有可能从 他的经验中根据细胞病理检查的统计结 果告诉我们正常与异常的大致比例,使 我们有可能推断出先验概率P( 此外医生还可能给我们提供一些正常细 胞及癌细胞染色涂片的样本,但不可能 给出类条件概率密度pxu1),这就需要 我们从医生提供的正常和异常两类细胞 染色涂片的样本中去推断佔计出正常类 概率密度p(xlω1及异常类概率密度 p(rlw)o 这就是要讨论的有关概率密度函数的估 计问题。 在实际中,能够收集到的是有限数目的 样本,而未知的则可能是 1.类条件概率密度(各类的总体分布) p(rlO 2先验概率P(o)。 模式识别的任务是利用样本集设计分类 器 通常把分类器设计过程分为两步, 第一步:利用样本集估计pxlo)和P(p;, 分别记为 |a,)p ≥解决这样的问题可以利用统计推断中 的估计理论。 分类器设计的另一个问题是错误率指标 前面已经讨论了错误率的理论计算问题 并指出无论是理论计算还是求取其上界 都存在着很多实际困难;在利用样本集 设计分类器的过程中常常利用样本集估 计错误率。因此主要讨论三个问题: 1如何利用样本集估计(x)和P(m); 2佔计量的性质如何; 3利用样本集估计错误率的方法 只要这些问题解决了,分类器设计的任 务就可以实现。 从样本集推断总体概率分布的方法可归结 为以下几种类型: 1.监督参数估计——样本所属的类别及 类条件总体概率密度函数的形式为已知 而表征概率密度函数的某些参数是未知 的 例如只知道样木所属总体为正态分布, 而正态分布的参数p,a2是未知的 目的是由已知类别的样本集对总体分布 的某些参数进行统计推断,这种情况下 的估计称为监督情况下的参数估计。 2.非监督参数估计 已知总体概率密度函数形式但未知样本 所属类别,要求推断出概率密度函数的 某些参数。称这种推断方法为非监督情 况下的参数估计。 监督与非监督是指样本所属类别是已知 还是未知。但无论那种情况下的参数估 计都是统计学中的经典问题,解决的方 法很多。 参数估计的两种常用的方法 最大似然估计方法 贝叶斯估计方法。 虽然这两种估计的结果通常是近似相等的,但 从概念上来说它们的处理方法是完全不同的。 最大似然估计把参数看作是确定而未知的。最 好的估计值是在获得实际观察样本的概率为最 大的条件下得到的。 而贝叶斯估计则把未知的参数当作具有某种分 布的随机变量,样本的观察结果使先验分布转 化为后验分布,再根据后验分布修正原先对参 数的估计。 3非参数估计 已知样本所属类别,但未知总体概率密度函数 的形式,要求我们直接推断概率密度函数本身 在统计学中常见的一些典型分布形式不总是能 够拟合实际中的分布。 此外,在许多实际问题中经常遇到多峰分布的 情况。 这就迫使我们必须用样本推断总体分布。 有两种推断类条件概率密度的方法— Parzen 窗法及k近邻法。 251参数估计的基本概念 冫参数估计是统计推断的基本问题之一, 先介绍几个参数估计中的基本概念 1.统计量 口样本中包含着总体的信息,通过样本集把有 关信息抽取出来,就是说针对不同要求构造 出样本的某种函数,这种函数在统计学中称 为统计量