第3章 概率密度函数的估计2.ppt

返回本章首页 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 现（1）（2）已完成，下面主要进行（3）（4），这里 。 返回本章首页 返回本章首页 返回本章首页 返回本章首页 （3）Bayes学习示例 Bayes学习是是利用 的先验分布及样本提供的信息求出 的后验分布 ，然后直接求总体分布 4.4 非监督最大似然估计中几个问题 返回本章首页 1 假设条件： 1）样本来自类数为 c 的各类中，但不知道每个样本究竟来自哪一类； 2）每类的先验概率 已知; 3）类条件概率密度的形式 已知; 4）未知的仅是 c 个参数向量 的值。 似然函数 监督情况下的似然函数 返回本章首页 非监督情况下的似然函数 对数似然函数为 3 可识别性问题 即利用从这个混合密度抽取的样本估计未知参数向量。 计算问题 对于可识别的似然函数，可以前面介绍的方法求估计 值。 返回本章首页 返回本章首页 返回本章首页 前面处理模式识别问题时，认为总体分布的形式是已知的，但在实际问题中，这一假设不一定能够成立。为了设计Bayes分类器，仍然需要总体分布的知识，这里我们探讨直接用样本来估计总体分布的方法，即非参数估计方法。 我们结合一维模式的例子，对估计方法的思路进行简单的阐述。设有样本集 ，每个样本 在以 为中心，宽为 的范围内对分布的贡献为1，数轴上任意一点的概率密度是样本集中全部样本对分布的贡献之和，如图所示。 4.5 总体分布的非参数估计 返回本章首页 返回本章首页 返回本章首页 概率密度函数估计的基本方法 N个样本 是从概率密度函数为 的总体中独立抽取的，则 n 个样本中 k 个样本落入区域R 中的概率符合二项分布。 返回本章首页 返回本章首页 k 的二项分布 在它的均值附近有一 个峰值，该峰值是在k的众数m上。定义众数m 为 返回本章首页 若体积 固定，只能得到 的平均估计 要想得到 而不是 的平均，则必须让 。 若样本数 N 固定而 ，就会使区域 R 中不包含任何样本，这样 ，若偶尔包含一个或几个样本同 x 点重合， 返回本章首页 如果理论上可能采用无穷多个样本，可采用以下的的步骤估计概率密度：构造 区域序列， 区域采用一个样本， 区域采用两个样本，……。这样第N次估计为 下面介绍选择上述区域序列的方法之一——Parzen窗法. 返回本章首页 1 Parzen窗估计的概念 基本的估计公式 因此只需求 ， 。 假设区域 是一个 d 维的棱长 超立方体，那么 定义窗函数 返回本章首页 返回本章首页 2 窗函数的选择 上面所给的是超立方体的方窗函数，也可具有其他的形式。给出以下几种一维德窗函数： （1）方窗函数 （2）三角窗函数 （3）正态方窗函数 （4）指数窗函数 窗函数的选择形式不一，但也有一定的限制条件。 返回本章首页 3 估计量 为密度函数的条件 概率密度函数的基本条件 （1） （2） 窗函数的选择必须满足的条件： （1） （2） 下面证明一维情况下，当 时 。 返回本章首页 证明： 返回本章首页 4 窗宽 对估计量的影响 定义函数 为 （1）窗宽 很大，则 的幅度 很小，同时 的值变化缓慢，使估计的分辨率降低。（2）窗宽 很小，则 的幅度 很大，同时