EM算法以及应用.docx

精选文库 EM 算法原理与应用 一、最大似然 假 我 需要 我 学校的男生和女生的身高分布。那么多人不可能一个一个去 吧，肯定是抽 。假 在校园里随便地活捉了 100 个男生和 100 个女生。他 共 200 个人 （也就是 200 个身高的 本数据， 了方便表示，下面，我 “人 ”的意思就是 的身 高）都在教室里面了。开始喊： “男的左 ，女的右 ，其他的站中 ！ ”。然后先 抽 得到的 100 个男生的身高。假 他 的身高是服从高斯分布的。但是 个分布的均 μ 2 2 T 和方差 σ我 不知道， 两个参数就是我 要估 的。 作 θ=[ μ,σ] 。 用数学的 言来 就是：在学校那么多男生（身高）中，我 独立地按照概率密度 p(x|θ)抽取 100 了个（身高）， 成 本集 X，我 想通 本集 X 来估 出未知参数 θ。 里概率密度 p( x|θ)我 知道了是高斯分布 2 2 T 。 N(μ,σ)的形式，其中的未知参数是 θ=[ μ,σ] 抽到的 本集是 X={ x1,x2, ?,xN} ，其中 xi 表示抽到的第 i 个人的身高， 里 N 就是 100，表 示抽到的 本个数。 由于每个 本都是独立地从 p(x|θ)中抽取的， 句 100 个男生中的任何一个，都 是我随便捉的，从我的角度来看 些男生之 是没有关系的。那么，我从学校那么多男生 中 什么就恰好抽到了 100 个人呢？抽到 100 个人的概率是多少呢？因 些男生 （的身高）是服从同一个高斯分布 p(x|θ)的。那么我抽到男生 A （的身高）的概率是 p(xA|θ)，抽到男生 B 的概率是 p(xB|θ)，那因 他 是独立的，所以很明 ，我同 抽到男 生 A 和男生 B 的概率是 p(xA B |θ)，同理，我同 抽到 100 个男生的概率就是他 各 |θ)* p(x 自概率的乘 了。用数学家的口吻 就是从分布是 p(x|θ)的 体 本中抽取到 100 个 本 的概率，也就是 本集 X 中各个 本的 合概率，用下式表示： L( ) L( x1 , x2 ,..., xn ; ) n p xi ; , 1 i 个概率反映了，在概率密度函数的参数是 θ ，得到 X 本的概率。因 里 X 是已知的，也就是 我抽取到的 100 个人的身高可以 出来，也就是已知的了。而 θ是 未知了， 上面 个公式只有 θ是未知数，所以它是 θ的函数。 个函数放映的是在不同 的参数 θ取 下，取得当前 个 本集的可能性，因此称 参数 θ相 于 本集 X 的似然 函数（ likehood function ）。 L(θ)。在学校那么男生中，我一抽就抽到 100 个男生 （表示身高），而不是其他人，那是不是表示在整个学校中， 100 个人（的身高）出 的概率最大。那么 个概率怎么表示？哦，就是上面那个似然函数 L(θ)。所以，我 就只 需要找到一个参数 θ，其 的似然函数 L(θ)最大，也就是 抽到 100 个男生（的身 高）概率最大。 个叫做 θ的最大似然估 量， ： ? arg max l 。有 ，可以看 到 L(θ)是 乘的，所以 了便于分析， 可以定 数似然函数，将其 成 加的： n n H ( ) ln L ln p xi ; ln p xi ; i 1 i 1 要求 θ，只需要使 θ的似然函数 L(θ)极大化，然后极大 的 θ就是我 的估 。 里就回到了求最 的 了。怎么求一个函数的最 ？当然是求 ，然后 数 0，那 么解 个方程得到的 θ就是了（当然，前提是函数 L(θ) 可微）。那如果 θ是包含多个 参数的向量那怎么 理啊？当然是求 L(θ) 所有参数的偏 数，也就是梯度了，那么 n 个 未知的参数，就有 n 个方程，方程 的解就是似然函数的极 点了，当然就得到 n 个参 数了。 最大似然估 可以把它看作是一个反推。多数情况下我 是根据已知条件来推算 果，而最大似然估 是已 知道了 果，然后 求使 果出 的可能性最大的条件，以此作 估 。极大似然估 ，只是一种概率 在 学的 用，它是参数估 的方法之一。 的是已知某个随机 本 足某种概率分布，但是其中具体的参数不清楚，参数估 就是通 若干次 ， 察其 果，利用 果推出参数的大概 。最大似然估 是建立在 -- 精选文库 的思想上：已知某个参数能使 个 本出 的概率最大，我 当然不会再去 其他小概率的 本，所以干脆就把 个参数作 估 的真 。 求最大似然函数估 的一般步 ： 1）写出似然函数； 2） 似然函数取 数，并整理； 3）求 数，令 数 0，得到似然方程； 4）解似然方程，得到的参