第3章概率密度函数选读.ppt

返回本章首页 5 密度函数估计的收敛性 对于每个给定的 ， 的值依赖于随机抽取的样本集 ，所以 有一个均值 和方差 如果有 同时成立，那么就说 收敛于 。 限制条件为 返回本章首页 下面证明 证明 返回本章首页 Parzen窗法应用举例 参照教材P71面 结论：（1）只要样本足够多，总可以保证收敛于任何 复杂的未知概率密度函数。（2）需要的样本数量很 多，因此需要耗费大量的计算时间和存储量。 THANK YOU VERY MUCH ！ 本章到此结束 下一章“近邻法” 返回本章首页 结 束放映 第1章 绪论 * 返回本章首页 下面我们看一下最大似然估计与Bayes解的关系。 返回本章首页 最大似然估计近似等于Bayes解（条件是 在 有尖锐的凸峰） 返回本章首页 下面给出在 具有递推收敛的性质下Bayes学习收敛的一般性陈述，看以下的推导公式 返回本章首页 我们把以上的方法称为递推Bayes估计，密度序列收敛于以真实参数为中心的 函数的过程称为Bayes学习。 如果分布具有Bayes学习性质，那么当样本数 时，就有 返回本章首页 单变量正态分布函数的定义及性质 单变量正态分布概函数 ，有两个参数 和 完全决定，常简记为 。 期望 方差 3.3 正态分布的监督参数估计示例 返回本章首页 （1）最大似然估计示例 最大似然估计是把参数 看成为确定的未知参数。定义似然函数为 它给出了从总体中抽出 这样 N 个样本的概率。 多维情况下的估计参数为： ， 单维情况下的估计参数为： 返回本章首页 返回本章首页 返回本章首页 （2）Bayes估计示例 Bayes估计是把参数 看成为随机的未知参数，一般 具有先验分布 。样本通过似然函数 并利用Bayes公式将 的先验分布 转化为后验分布。 现以单变量正态分布为例，并假定总体方差 已知，估计的参数为均值 。 总体分布密度和参数的先验分布 …………………形式已知 ………………………………先验分布已知 返回本章首页 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 现（1）（2）已完成，下面主要进行（3）（4），这里 。 返回本章首页 返回本章首页 返回本章首页 返回本章首页 （3）Bayes学习示例 Bayes学习是是利用 的先验分布及样本提供的信息求出 的后验分布 ，然后直接求总体分布 3.4 非监督最大似然估计中几个问题 返回本章首页 1 假设条件： 1）样本来自类数为 c 的各类中，但不知道每个样本究竟来自哪一类； 2）每类的先验概率 已知; 3）类条件概率密度的形式 已知; 4）未知的仅是 c 个参数向量 的值。 似然函数 监督情况下的似然函数 返回本章首页 非监督情况下的似然函数 对数似然函数为 3 可识别性问题 即利用从这个混合密度抽取的样本估计未知参数向量。 计算问题 对于可识别的似然函数，可以前面介绍的方法求估计 值。 返回本章首页 返回本章首页 返回本章首页 前面处理模式识别问题时，认为总体分布的形式是已知的，但在实际问题中，这一假设不一定能够成立。为了设计Bayes分类器，仍然需要总体分布的知识，这里我们探讨直接用样本来估计总体分布的方法，即非参数估计方法。 我们结合一维模式的例子，对估计方法的思路进行简单的阐述。设有样本集 ，每个样本 在以 为中心，宽为 的范围内对分布的贡献为1，数轴上任意一点的概率密度是样本集中全部样本对分布的贡献之和，如图所示。 3.5 总体分布的非参数估计 返回本章首页 返回本章首页 返回本章首页 概率密度函数估计的基本方法 N个样本 是从概率密度函数为 的总体中独立抽