最大可能性估计.ppt

关于最大可能性估计上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x|ωi)。这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数μ和Σ。第2页,共15页，2024年2月25日，星期天一基本原理设：有c个类别。每一个类别有一些属于这个类别的训练样例：D1,…,Dc。第j个类别的参数向量(比如均值，方差)表示为θj。一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。问题：怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。第3页,共15页，2024年2月25日，星期天下面分别使用每个训练样例Di来估算这个类别的参数向量θi。每个类别的参数向量的求解方式都是一样的。下面就忽略i。第4页,共15页，2024年2月25日，星期天设样例集合D里面有n个训练样例，x1,…,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：因为目前这个类别的参数向量θ还没有确定，所以在参数向量是θ的情况下，这些样例一起出现的概率是：第5页,共15页，2024年2月25日，星期天使得p(D|θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D|θ)的极值点，等价于求它的自然对数lnp(D|θ)的极值点，等价于对lnp(D|θ)的梯度等于0的点：第6页,共15页，2024年2月25日，星期天gradθ[f(θ)]，相当于使用θ的每个分量对f(θ)求偏导，然后组合成一个向量。第7页,共15页，2024年2月25日，星期天二求正态分布的参数μ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ。单变量正态分布的概率密度函数：多变量正态分布的概率密度函数：第8页,共15页，2024年2月25日，星期天前面求最合理的θ值的公式：p(xk|θ)就是正态分布的概率密度函数。因此进行公式带入：第9页,共15页，2024年2月25日，星期天第10页,共15页，2024年2月25日，星期天三求正态分布的参数μ和Σ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ和Σ。第11页,共15页，2024年2月25日，星期天单变量正态分布

此时θ=(μ,σ2)第12页,共15页，2024年2月25日，星期天多变量正态分布

此时θ=(μ,Σ)第13页,共15页，2024年2月25日，星期天四偏差上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：因此使用n个(有限个)样本估算方差的时候：第14页,共15页，2024年2月25日，星期天*感谢大家观看第15页,共15页，2024年2月25日，星期天