em算法及应用培训讲学.pdfVIP

EM 算 法 及 应 用 精品文档 EM 算法原理与应用 一、最大似然 假设我们需要调查我们学校的男生和女生的身高分布。那么多人不可能一个一个去问 吧，肯定是抽样。假设在校园里随便地活捉了 100 个男生和 100 个女生。他们共 200 个人 （也就是 200 个身高的样本数据，为了方便表示，下面，我说 “人 ”的意思就是对应的身 高）都在教室里面了。开始喊： “男的左边，女的右边，其他的站中间！ ”。然后先统计抽 样得到的 100 个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值 μ 2 2 T 和方差 σ我们不知道，这两个参数就是我们要估计的。记作 θ=[ μ, σ] 。 用数学的语言来说就是：在学校那么多男生（身高）中，我们独立地按照概率密度 p(x | θ)抽取 100 了个（身高），组成样本集 X ，我们想通过样本集 X 来估计出未知参数 θ。 2 2 T )的形式，其中的未知参数是 θ=[ μ, σ] 这里概率密度 p(x| θ)我们知道了是高斯分布 N( μ, σ 。 1 2 N i 抽到的样本集是 X={ x ,x , …,x } ，其中 x 表示抽到的第 i 个人的身高，这里 N 就是 100，表 示抽到的样本个数。 由于每个样本都是独立地从 p(x | θ)中抽取的，换句话说这 100 个男生中的任何一个，都 是我随便捉的，从我的角度来看这些男生之间是没有关系的。那么，我从学校那么多男生 中为什么就恰好抽到了这 100 个人呢？抽到这 100 个人的概率是多少呢？因为这些男生 （的身高）是服从同一个高斯分布 p(x | θ) 的。那么我抽到男生 A （的身高）的概率是 p(xA| θ)，抽到男生 B 的概率是 p(xB| θ)，那因为他们是独立的，所以很明显，我同时抽到男 生 A 和男生 B 的概率是 p(xA| θ)* p(xB | θ)，同理，我同时抽到这 100 个男生的概率就是他们各 自概率的乘积了。用数学家的口吻说就是从分布是 p(x| θ) 的总体样本中抽取到这 100 个样本 的概率，也就是样本集 X 中各个样本的联合概率，用下式表示： n L( ) L( x ,x ,...,x ; ) p x ; , 1 2 n i i 1 这个概率反映了，在概率密度函数的参数是 θ时，得到 X 这组样本的概率。因为这里 X 是已知的，也就是说我抽取到的这 1