EM（最大期望算法）极大似然估计幻灯片.pptVIP

EM（最大期望算法） Expectation-maximization algorithm 极大似然估计 EM算法 极大似然估计方法是一种参数估计方法 是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值 原理：一个随机试验如果有若干个可能的 结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大 思想：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值 极大似然估计 极大似然估计 设总体X是离散型随机变量，其分布中含有未知参数θ，设x （x1，x2.....xn）是取自总体X的一个样本，（x1，x2.....xn）是其观察值。则取到这组样本观察值的概率是： 定义似然函数为： 这里x1，x2.....xn是观测值，且独立同分布，L(θ)看做参数θ的函数，它可作为θ已多大可能性产生样本值X1，X2，....Xn的一种度量 极大似然估计 最大似然估计法就是使用L（θ）达到最大值的 去估计θ 称 为θ的最大似然估计值。而相应的统计量θ（X1，X2，....Xn）称为θ的最大似然估计量。 同理，设总体X是连续型随机变量，密度函数为f(x;θ),其中θ为未知参数，则定