EM算法应用(1)-高斯混合模型.docxVIP

高斯混合模型（聚类） .定义： 由K个高斯分布混合而成的分布模型 红色线为最终模型的分布曲线。其是由三个用蓝色线的高斯分布模型混合而成。对于图像上某一点有： 类似于其他模型使用极大似然方法求解： 求解一个分布函数p(x)使得按照这个分布，观测数据出现的概率最大。 对上述目标函数取对数有： 可以发现上面函数包含和的对数。很难通过求取偏导数而获得参数的值。下面讲述如通过EM算法求解的思路。 一个假设： 先假定，如果这个观测数据只是由其中一个高斯模型K产生，则隐变量是一个向量，并且这个向量中只有一个元素取值为1，其它的都是0。然后计算分模型K对观测数据的响应度（E步）。该响应度是一个概率值，表示该观测由该高斯分量唯一生成的概率值。每个高斯分量其实都可以产生这个观测数据只是输出不同而已，即产生观测数据的概率不同。最后，根据每个高斯分量对观测数据的响应度，计算更新每个分模型的参数，以及汇总出整个GMM产生这个观测数据的每个分模型权值。 计算过程分析： GMM： 先计算所有数据对每个分模型的响应度。求响应度隐变量的均值。 根据响应度计算每个分模型的参数。极大化模型的似然函数 迭代 K-means： 先计算所有数据对于K个点的距离，取距离最近的点作为自己所属于的类 根据上一步的类别划分更新点的位置（点的位置就可以看做是模型参数） 迭代 Kmeans与高斯混合模型的异同点 可以看出GMM和K-