第3章1 概率密度函数的估计.pptVIP

第1章 绪论 第4章 概率密度函数的估计 4.1　最大似然估计 4.2　Bayes估计和Bayes学习 4.3 正态分布的监督参数估计 4.4　非监督参数估计 4.5 总体分布的非参数估计 在上一章，我们介绍了先验概率和类条件概率密度函数已知时，怎么去设计一个最优分类器，但是在一般的模式识别问题中，要知道所讨论问题的全部概率结构是不大可能的。通常对于研究的问题只有一些一般性的、模糊的知识。可能有的就是一些样本了。现在的问题就转变为如何利用上述信息去对概率总体作出估计，从而进一步设计出分类器。在模式识别问题中，先验概率的估计并不困难，困难的是类条件概率密度函数的估计，包括形式和参数两方面的问题。形式已知的称为参数估计，未知的称为非参数估计。 参数估计——包括监督参数估计和非监督参数估计 监督参数估计——样本所属的类别及类条件总体概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的 非监督参数估计——已知总体概率密度函数的形式但未知样本所属类别，要求推断出概率密度函数的某些参数 参数估计的方法——最大似然估计和Bayes估计 非参数估计——已知样本所属类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身 非参数估计的方法——Parzen窗法和 近邻法 参数估计的基本概念 （1）统计量 （2）参数空间 （3）点估计、估计量和估计值 （4）区间估计 4.1 最大似然估计 4.2 Bayes估计和Bayes学习 4.3 正态分布的监督参数估计示例 4.4 非监督最大似然估计中几个问题 4.5 总体分布的非参数估计 THANK YOU VERY MUCH ！ 本章到此结束 返回本章首页 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 现（1）（2）已完成，下面主要进行（3）（4），这里 。 返回本章首页 返回本章首页 返回本章首页 返回本章首页 （3）Bayes学习示例 Bayes学习是是利用 的先验分布及样本提供的信息求出 的后验分布 ，然后直接求总体分布 返回本章首页 1 假设条件： 1）样本来自类数为 c 的各类中，但不知道每个样本究竟来自哪一类； 2）每类的先验概率 已知; 3）类条件概率密度的形式 已知; 4）未知的仅是 c 个参数向量 的值。 似然函数 监督情况下的似然函数 返回本章首页 非监督情况下的似然函数 对数似然函数为 3 可识别性问题 即利用从这个混合密度抽取的样本估计未知参数向量。 计算问题 对于可识别的似然函数，可以前面介绍的方法求估计 值。 返回本章首页 返回本章首页 返回本章首页 前面处理模式识别问题时，认为总体分布的形式是已知的，但在实际问题中，这一假设不一定能够成立。为了设计Bayes分类器，仍然需要总体分布的知识，这里我们探讨直接用样本来估计总体分布的方法，即非参数估计方法。 我们结合一维模式的例子，对估计方法的思路进行简单的阐述。设有样本集 ，每个样本 在以 为中心，宽为 的范围内对分布的贡献为1，数轴上任意一点的概率密度是样本集中全部样本对分布的贡献之和，如图所示。 返回本章首页 返回本章首页 返回本章首页 概率密度函数估计的基本方法 N个样本 是从概率密度函数为 的总体中独立抽取的，则 n 个样本中 k 个样本落入区域R 中的概率符合二项分布。 返回本章首页 返回本章首页 k 的二项分布 在它的均值附近有一 个峰值，该峰值是在k的众数m上。定义众数m 为 返回本章首页 若体积 固定，只能得到 的平均估计 要想得到 而不是 的平均，则必须让 。 若样本数 N 固定而 ，就会使区域 R 中不包含任何样本，这样 ，若偶尔包含一个或几个样本同 x 点重合， 返回本章首页 如果理论上可能采用无穷多个样本，可采用以下的的步骤估计概率密度：构造 区域序列， 区域采用一个样本， 区域采用两个样本，……。这样第N次估