聚类-EM算法.pptVIP

例1：为了调查学校学生身高，随机抽样n个男生和m个女生，设身高服从正态分布，试确定男女生对应的均值与方差。 极大似然估计 例2：设某组零件的不合格率p，抽样n个零件，其中t个不合格零件，试估计不合格率p。 例3：若例1中男女生数据混合无法区分，即只知总人数，试确定男女生对应的均值与方差。 分析：该问题含两个正态分布，每个样本有2种参数需要估计： 第一、每个样本源于1还是2（隐藏的标签）？ 第二、每一类样本的均值与方差？ 1、若隐藏的标签已知，则由极大似然估计易得均值与方差； 2、 若均值与方差已知，则可以进一步调整样本标签； 1’、样本标签已被隐藏，可假设隐藏标签已知，写出（对数）似然函数表达式对隐藏的标签取期望后，再采用极大似然估计的均值与方差； EM(expectaion-maximization) 期望--最大化方法 混合Gauss模型 给定N个观测样本，满足如下混合形式的概率： 求混合分布的三组参数 EM算法流程： 1、任意给出高斯分布的参数，需要保证 2、Expectation 步： 3、 Maximum 步：用最大似然估计重新估计均值、方差和权重。 4、返回第2步，直到各参数的值变化小于指定精度e 一般的EM算法 EM算法改进 关于初始点的选择 初始值的获取可以通过k-means算法，层次聚类算法或者是对 数据进行随机的分割.[1] 重复利用EM，CEM和SEM进行初始点的选择.[2] [1] McLachlan, G.J. and Ng, S.K. (2008). The EM algorithm. [2] Christophe Biernachi,Gilles Celeux,Gerard Govaert.(2003).Choosing starting values for the EM algorithm for getting the highest likelihood in multivariate Gaussian mixture models. * EM属于聚类算法，其主要缺点 收敛速度慢; 算法高度依赖初始值的选择. * 例：