第四讲概率密度估计.pptVIP

问题的提出第29页，共43页，星期日，2025年，2月5日解决办法（1）第30页，共43页，星期日，2025年，2月5日解决办法（2）正则化判别分析Fredman(1989)提出。第31页，共43页，星期日，2025年，2月5日第1页，共43页，星期日，2025年，2月5日内容提要引言参数估计的方法高斯分布参数估计混合高斯分布参数估计第2页，共43页，星期日，2025年，2月5日一、引言问题形式的变化本章学习的主要内容参数估计的基本方法第3页，共43页，星期日，2025年，2月5日问题一已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。求：给定样本特征矢量所属的类别第4页，共43页，星期日，2025年，2月5日求解方法（1）第5页，共43页，星期日，2025年，2月5日求解方法（2）第6页，共43页，星期日，2025年，2月5日问题二已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别第7页，共43页，星期日，2025年，2月5日求解方法第8页，共43页，星期日，2025年，2月5日问题三—本讲拟解决的问题已知：（1）样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别第9页，共43页，星期日，2025年，2月5日本章学习内容第10页，共43页，星期日，2025年，2月5日参数估计的分类监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）第11页，共43页，星期日，2025年，2月5日二、未知概率密度函数估计参数估计的概念参数估计的方法最大似然参数估计(MaximumLikelihoodParameterEstimation)最大后验概率估计(MaximumAPosterioriProbabilityEstimation)贝叶斯推理(BayesianInference)最大熵估计(MaximumEntropyEstimation)第12页，共43页，星期日，2025年，2月5日2.1基本概念（1）统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。第13页，共43页，星期日，2025年，2月5日2.1基本概念（2）点估计、估计量和估计值：第14页，共43页，星期日，2025年，2月5日2.1基本概念（3）两点假设第15页，共43页，星期日，2025年，2月5日2.2最大似然估计第16页，共43页，星期日，2025年，2月5日第17页，共43页，星期日，2025年，2月5日举例：正态分布函数的参数估计第18页，共43页，星期日，2025年，2月5日结论第19页，共43页，星期日，2025年，2月5日讨论ML估计是渐近无偏估计（asymptoticallyunbiased)ML估计也是渐近一致估计(asymptoticallyconsistent)ML估计是渐近有效的。满足Cramer-Rao准则ML估计当N趋近无穷大时，接近Gaussian分布。第20页，共43页，星期日，2025年，2月5日2.3最大后验概率估计第21页，共43页，星期日，2025年，2月5日与ML的区别第22页，共43页，星期日，2025年，2月5日举例第23页，共43页，星期日，2025年，2月5日第24页，共43页，星期日，2025年，2月5日说明方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。第25页，共43页，星期日，2025年，2月5