第五章-聚类分析-模糊c均值及GMM.pptVIP

CSE802.PreparedbyMartinLaw模式识别聚类分析—模糊C均值聚类Gaussian混合模型河北大学工商学院主要内容模糊c-means聚类Gaussian混合模型模糊c-means聚类算法隶属度矩阵:Uc×nUij是第j个样本属于第i个聚类的隶属度Crisp隶属度:Fuzzymembership:模糊c-means聚类算法（续）模糊c-means聚类算法的目标函数：模糊c-means聚类算法（续）令偏导数为0，则有：模糊c-means聚类算法（续）同时根据第一个方程可得：模糊c-means聚类算法（续）且：模糊c-means聚类算法（续）模糊c-means聚类算法（续）另一方面，令目标函数J关于pi的倒数为0，则可以得到：模糊c-means聚类算法（续）即：最终，可以得到pi的更新公式：模糊c-means聚类算法（续）最终，可得:模糊c-means聚类算法（续）模糊c-means聚类算法：Fuzzyc-means聚类算法（续）

---Matlab程序实现Fuzzyc-means聚类算法（续）

---Matlab程序实现Fuzzyc-means聚类算法（续）

---Matlab程序实现Fuzzyc-means聚类算法（续）

---Matlab程序实现模糊c-means聚类算法（续）Gaussian混合模型观测数据:X={x1,x2,…,xn},其中每个样本都是从混合概率分布中独立的抽取，满足：其中：Gaussian混合模型（续）不完全数据的log-likelihood由下式给出：这很难进行优化完全数据的log-likelihood为：处理起来非常容易，其中H为隐含随机变量的集合怎样计算H的分布？Gaussian混合模型（续）

---EM算法E-Step:首先寻找期望值：其中为的当前估计量M-Step:更新估计量重复上面两个步骤，直至收敛Gaussian混合模型（续）

---EM算法（续）Gaussian混合模型（续）

---EM算法（续）期望值(被圈住的项)为log-likelihood的下界Gaussian混合模型（续）

---EM算法（续）下界的最大值等于log-likelihood：公式(1)的第一项为q(h)关于的条件熵第二项为独立于h的一个数如果使条件熵等于零我们可以得到公式(1)的最大值据此，第一项等于零且公式(1)取得上界,即：Gaussian混合模型（续）

---EM算法（续）设为参数的猜测值对于一个给定的，我们可以计算考虑期望值：Gaussian混合模型（续）

---EM算法（续）拉格朗日函数的偏导数方程为：由方程（2），可以得到λ=-n，且：Gaussian混合模型（续）

---EM算法（续）根据这些值，可以得到的最优值，且仅有下面的公式部分与相关：Gaussian混合模型（续）Gaussian分布由下式给出：对于Gaussian混合Gaussian混合模型（续）令偏导数为零，则有：Gaussian混合模型（续）作业编程实现模糊C均值聚类算法在网上寻找基于GMM的聚类算法程序，并使用该程序进行图像分割河北大学工商学院IndustrialComerricialCollege,HebeiUniversity为约束引入拉格朗日乘子λ，则目标函数可以写成：从第二个方程，可得：于是：与第二个方程综合到一起，可以得到uij的更新公式：（见下页）目标函数：更新方式：聚类标号确定公式：functionresult=FCM_clust(X,n_cluster,epsilon,m)data.X=X;%Dataarenormalizedbetween[0,1]