最大期望算法分析.pptVIP

最大期望算法（EM） Expectation Maximization Algorithm 最大期望算法 最大期望算法，是一种迭代算法，用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计。 最初是由Ceppellini等人1950年在讨论基因频率的估计的时候提出的。后来又被Hartley和Baum等人发展的更加广泛。目前引用的较多的是1977年Dempster等人的工作。它主要用于从不完整的数据中计算最大似然估计。后来经过其他学者的发展，这个算法也被用于聚类等应用。 最大期望算法 例：我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地选取了100个男生和100个女生。统计抽样得到的100个男生的身高和100个女生的身高。假设他们的身高各自是服从高斯分布的。 最大期望算法 如果X是在概率空间（Ω, P）中的一个随机变量，那么它的期望值E[X]的定义是 。 最大期望算法 若已知样本取值为x1,x2,…xn ，则事件 X1 x1 , X2 x2,…Xn xn 发生的概率为 ： 设总体X是离散型随机变量，其概率函数为p x,θ ，其中θ是未知参数．联合概率函数： 最大期望算法 联合概率密度函数是随θ的改变而改变的，将它看作是θ的函数就是似然函数： 最大期望算法 例：我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地选取了100个男生和100个女生。统计抽样得到的100个男生的身高和100个女生的身高。假设他们的身高各自是服从高斯分布的。 最大期望算法 用数学的语言：抽取得到的每个样本无法判断是从哪个分布。 最大期望算法 推导过程： 对于参数估计，我们本质上还是想获得一个使似然函数最大化的那个参数θ，现在与最大似然不同的只是比似然函数式中多了一个未知的变量z，也就是说我们的目标是找到适合的θ和z让L θ 最大。 最大期望算法 PS： 2 → 3 时运用的是Jensen不等式： 如果f是凸函数，X是随机变量，那么 ，当且仅当f是严格凸函数时， 。 如果f是凹函数，X是随机变量，那么 ，当且仅当f是严格凹函数时， 。 二次导数为 ，为凹函数。 最大期望算法 EM算法步骤： 初始化分布参数 重复E、M步骤直到收敛。 最大期望算法 E步骤：估计未知参数的期望值，给出当前的参数估计。根据参数初始值或上一次迭代的模型参数记 ,来求一个分布q z ，使得L q,θ 最大化。 最大期望算法 M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。固定q z ，求一个θ，记为 ,使得L q,θ 最大。 谢 谢 观 看！ * 模板来自于 * 模板来自于 * 抽出的样本是男生 抽出的样本是女生 最大期望算法 随意的抽取一个样本，无法判断是男是女。 男生和女生对应的身高的高斯分布的参数是多少 这个人是男的还是女的 最大期望算法 对于每一个抽取到的人，有两个方面要估计。 * 模板来自于 * 模板来自于 *