第四讲概率密度估计.pptVIP

第四讲：概率密度函数的估计（一） 顾明亮 2011年3月 内容提要 引言 参数估计的方法 高斯分布参数估计 混合高斯分布参数估计 一、引言 问题形式的变化 本章学习的主要内容 参数估计的基本方法 问题一 已知： （1）样本总的类别数； （2）各样本类别的先验概率； （3）测量值的类条件概率； （4）样本特征矢量。 求：给定样本特征矢量所属的类别 求解方法（1） 求解方法（2） 问题二 已知： （1）样本总的类别数； （2）各样本类别的先验概率； （3）类条件概率的分布形式及参数值； （如：正态分布及均值和协方差） （4）样本特征矢量。 求：给定样本特征矢量所属的类别 求解方法 问题三—本讲拟解决的问题 已知： （1）样本总的类别数； （2）若干训练样本特征矢量及其对应的类别 （ ） （3）样本所服从的统计分布函数但参数未知 （如：正态分布，但均值与协方差矩阵未知） （4）测试样本特征矢量： 求：给定样本特征矢量所属的类别 本章学习内容 参数估计的分类 监督参数估计 （已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。） 非监督参数估计 （已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。） 非参数估计 （不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策） 二、未知概率密度函数估计 参数估计的概念 参数估计的方法 最大似然参数估计 (Maximum Likelihood Parameter Estimation) 最大后验概率估计 (Maximum A Posteriori Probability Estimation) 贝叶斯推理 (Bayesian Inference) 最大熵估计 (Maximum Entropy Estimation) 2.1 基本概念（1） 统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。 参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。 2.1 基本概念（2） 点估计、估计量和估计值： 2.1 基本概念（3） 两点假设 2.2 最大似然估计 举例：正态分布函数的参数估计 结论 讨论 ML估计是渐近无偏估计（asymptotically unbiased) ML估计也是渐近一致估计(asymptotically consistent) ML估计是渐近有效的。满足Cramer-Rao准则 ML估计当N趋近无穷大时，接近Gaussian 分布。 2.3 最大后验概率估计 与ML的区别 举例 说明 方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。 2.4 贝叶斯推理 前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。 讨论 三 高斯分布参数估计的改进 问题的提出 解决办法（1） 解决办法（2） 正则化判别分析 改进后的判别函数 讨论 方法简评 当协方差矩阵不是近似相等或样本规模太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。 另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。 四 高斯混合模型 面临的问题 前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？ 数学表示方式 数学问题 解决方法 EM算法原理 EM算法原理 EM算法实现 EM算法实现（续） EM算法实现（续） Fredman(1989)提出。 * *