模式识别 课件 第3章 概率密度函数的估计.pptx

第3章概率密度函数的估计

主要内容3.1基本概念3.2参数估计3.3非参数估计3.4最小错误率贝叶斯决策的实例

3.1基本概念?贝叶斯决策前提条件是已知各类的先验概率和类条件概率，但实际中所得到的只是样本集，如何由样本集得到所需的概率密度函数，需要进行估计。

参数估计：parametricestimation，已知类条件总体概率密度函数形式，未知其中部分或全部参数，用样本来估计这些参数。非参数估计：nonparametricestimation，未知概率密度函数形式，求函数本身。（1）估计方法3.1基本概念

?（2）参数估计中的基本概念3.1基本概念

（1）最大似然估计3.2参数估计前提假设?

似然函数（likelihoodfunction）??3.2参数估计

样本集中的样本最有可能来源于概率密度最大的地方。似然函数定义为联合概率密度，样本独立抽取时为概率密度的乘积，已知一组样本，最有可能来自于似然函数最大所对应的密度函数。因此，可以利用似然函数作参数估计。最大似然估计量至此，估计问题转化为求极值的问题。?3.2参数估计

最大似然估计求解?防止数值下溢3.2参数估计

例题???3.2参数估计

例3-2：设x服从正态分布N(μ,σ2)，其中参数μ、σ2未知，求它们的最大似然估计量。?3.2参数估计

3.2参数估计

??3.2参数估计

仿真实现例3-4：读取hospital数据，按性别分为两类，对体重数据进行正态分布拟合，并绘制概率密度函数曲线。3.2参数估计设计思路：hospital数据集中有100个病人的数据，包括性别、年龄、体重、是否抽烟、血压等数据采用fitdist函数拟合数据分布，fitdist函数使用最大似然估计拟合多种概率分布另外，可以采用mle函数对不同的分布进行ML参数估计，normfit等函数实现常见分布的参数的ML估计。

程序3.2参数估计clc,clear,closeall;loadhospitalx=hospital.Weight;gender=hospital.Sex;[pdca,gn,gl]=fitdist(x,Normal,By,gender);%用正态分布对两组数据进行拟合female=pdca{1};%第一组对应分布male=pdca{2};%第二组对应分布x_values=50:1:250;femalepdf=pdf(female,x_values);%计算概率密度函数值malepdf=pdf(male,x_values);

figureplot(x_values,femalepdf,Color,r,LineWidth,2);holdonplot(x_values,malepdf,Color,b,LineStyle,-.,LineWidth,2);xlabel(x);ylabel(p(x));legend(gn,Location,NorthEast)holdoff程序3.2参数估计

结果3.2参数估计female组，估计的均值为130.4717，标准差为8.3034male组，估计的均值为180.5319，标准差为9.1932体重数据对应的正态概率密度函数曲线

（2）最大后验估计基本思路把θ看作随机变量，考虑θ本身服从的分布，利用贝叶斯公式计算θ的后验概率，最大后验概率对应的参数值为参数的估计值。这种方法称为最大后验估计。3.2参数估计

原理3.2参数估计?求解：或：

例题3.2参数估计???

3.2参数估计?求极值

（3）贝叶斯估计?基本思路把估计问题转化成和贝叶斯最小风险决策形式一致，利用Bayes公式解决问题。3.2参数估计

贝叶斯决策贝叶斯估计样本x贝叶斯决策和贝叶斯估计各变量的对应关系概念3.2参数估计

贝叶斯风险???3.2参数估计

?损失函数平方误差损失时的贝叶斯估计量3.2参数估计

贝叶斯估计的步骤?3.2参数估计

例题?解：确定μ的先验分布P(μ)3.2参数估计?

?3.2参数估计

应用待定系数法，令两式对应的系数相等3.2参数估计

利用定理，求μ贝叶斯估计量3.2参数估计??

贝叶斯学习?θ的贝叶斯估计量为：θ的后验分布为：当N1时，有得递推