EM算法--应用到三个模型高斯混合模型,混合朴素贝叶斯模型,因子分析模型.docxVIP

 HYPERLINK /lifegoesonitself/archive/2013/05/19/3087143.html EM算法--应用到三个模型： 高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型 判别模型求的是条件概率p(y|x)， 生成模型求的是联合概率p(x,y) ??.即 =?p(x|y) ? p(y)?常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、boosting、条件 随机场、神经网络等。常见的生产模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、Restricted Boltzmann Machine等。 所以这里说的高斯混合模型，朴素贝叶斯模型都是求p(x,y)联合概率的。(下面推导会见原因) 套路小结：?凡是生产模型，目的都是求出联合概率表达式，然后对联合概率表达式里的各个参数再进行估计，求出其表达式。 下面的EM算法，GMM等三个模型都是做这同一件事：设法求出联合概率，然后对出现的参数进行估计。 ?一、EM算法： 作用是进行参数估计。 应用：（因为是无监督，所以一般应用在聚类上，也用在HMM参数估计上）所以凡是有EM算法的，一定是无监督学习.因为EM是对参数聚集 给定训练样本是?样例独立， 我们想要知道每个样例隐含的类别z，使是p(x,z)最大，（即?如果将样本x(i)看作观察值， 潜在类别z看作是隐藏变量， 则x可能是类别z， 那么聚类问题也就是参数估计问题，） 故p(x,z)最大似然估计是： 所以可见用到EM算法的模型（高斯混合模型，朴素贝叶斯模型）都是求p(x,y)联合概率，为生成模型。 ? 对上面公式，直接求θ一般比较困难，因为有隐藏变量z存在，但是一般确定了z后，求解就容易了。 EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化?(θ)，我们可建立?的下界（E步），再优化下界（M步），见下图第三步，取的就是下界 ??（总式） 解释上式： 对于每一个样例 i，让Qi表示该样例隐含变量 z 的某种分布，Qi满足的条件是 （如果 z 是连续性的，那么Qi是概率密度函数（因子分析模型就是如此），需要将求和符号换成积分符号即：因子分析模型是如此，这个会用在EM算法的M步求。 比如要将班上学生聚类，假设隐藏变量z是身高，那么就是连续的高斯分布。 如果按照隐藏变量是男??，那么就是伯努利分布（即两点分布：）了。 上总式第1到第2步是分子分母同乘一个数， 第2到3步是：用了jasen不等式：?（凸函数图形上表示反为凹函数，记住。） 如图：??。因为第2步log是凹函数 ：，所以f(E(x)) = E[f(x)].这样就完成了第3步（详情见对应讲义。） ? 至此推导完上面3步公式，下面所有模型都是对上面第3步公式进行参数估计的！！！ ? 下面 对第三步的Q(z)进行推导： （见讲义） 所以Q(Z)最终表示：?，其中z只受参数θ影响。 所以EM算法： （承上启下：在m步中，最终是对参数θ进行估计，而这一步具体到高斯混合模型，则θ有三个参数：mu,phi,sigma代替，即高斯混合模型要推导三个参数，下面会讲） 至此，这就是EM算法所有推导，EM算法推导也只能推导这些步，具体再将这些公式推导下去，就要结合模型了。 ? 总结： 如果将样本看作观察值， 潜在类别看作是隐藏变量， ??那么聚类问题也就是参数估计问题，只不过聚类问题中参数分为隐含类别变量和其他参数。 对应到EM上，E步估计隐含变量，M步估计其他参数，交替将极值推向最大。 例子：在Mitchell的Machine Learning书中也举了一个EM应用的例子，将班上学生的身高都放在一起，要求聚成两个类。这些身高可以看作是男生身高的高斯分布和女生 身高的高斯分布组成。因此变成了如何估计每个样例是男生还是女生，然后在确定男女生情 况下，如何估计均值和方差，里面也给出了公式。 ? ? 二、混合高斯模型： 将EM算法融到高斯混合模型，将上面EM算法的E步、M步的公式再具体推导下去。 ? 整个模型简单描述为： 对于每个样例?，我们先从k个类别中按多项式分布抽取一个， 然后根据所对应的 k 个多值高斯分布中的一个，生成样例，整个过程称作混合高斯模型。 （即对样例x， 最终目的是生成样例x。（？？）即对样例x，从k个类别抽取一个z,从根据z生成x。） ? 特别地，混合高斯模型的 （1）隐含类别标签?，被认为满足多项式分布，即??(这里只受?参数（即phi）影响) （2）样例被认为满足?高斯分布，即???(所以μ和Σ分别为样例x的均值和协方差) ??　　　　　　　　　　?补充：服从的多项式分布概率公式为：，即类似C(n,x)*p6^x*(1-p6)^(n-x) 类型 　　所以 上面（1）（2）可知混合高斯模型中，?这里的仍是