03最大可铅能性估计.pptVIP

模式识别 ——最大可能性估计 mqy_mail@163.com 上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x|ωi)。 这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数μ和Σ。 一 基本原理 设： 有c个类别。 每一个类别有一些属于这个类别的训练样例：D1,…,Dc。 第j个类别的参数向量(比如均值，方差)表示为θj。 一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。 问题： 怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。 下面分别使用每个训练样例Di来估算这个类别的参数向量θi。因为每个类别的参数向量的求解方式都是一样的。 下面就忽略i。只考虑根据一个特定类别的训练样例集合D，来估算这个类别的参数向量θ。 设样例集合D里面有n个训练样例，x1,…,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成： 参数向量θ中的参数是可变的。在这些参数的取值范围内，使得这些样例一起出现的概率最大的值，就是最合理的参数。就是说使得p(D|θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D|θ)的极值点，等价于求它的自然对数ln p(D|θ)的极值点，等价于对ln p(D|θ)的梯度等于0的点