《模式识别原理、应用及实现》 课件 3.2 最大似然估计.pptVIP

3.2最大似然估计武汉理工大学1.参数估计方法两类估计方法：概率密度函数的形式未知，直接估计概率密度函数的方法。已知概率密度函数的形式而函数的有关参数未知，通过估计参数来估计概率密度函数的方法。*参数估计法：*非参数估计法：两种主要参数估计法：最大似然估计、贝叶斯估计。2.似然函数设：ωi类的类概率密度函数具有某种确定的函数形式；θ是该函数的一个未知参数或参数集。最大似然估计把θ当作确定的未知量进行估计。从ωi类中独立地抽取N个样本：似然函数：称这N个样本的联合概率密度函数为相对于样本集的θ的似然函数。——在参数θ下观测到的样本集的概率(联合分布)密度3.原理也即：要找到一个θ，它能使似然函数极大化。由求得。θ为一维时的最大似然估计示意图θ的最大似然估计量就是使似然函数达到最大的估计量。为便于分析，定义似然函数的对数为θ的最大似然估计是下面微分方程的解：设ωi类的概率密度函数有p个未知参数，记为p维向量此时3.原理解以上微分方程即可得到θ的最大似然估计值。3.正态分布情况举例