聚类剖析Kmeans and Kmedoids聚类.ppt

数据挖掘 Topic.3-聚类分析 K- meansK- medoids聚类 主要内容 sK- means算法 o Matlab程序实现 在图像分割上的简单应用 K- medoids算法 k中心点聚类算法AM sK- medoids改进算法 2014-5-12 基于划分的聚类方法 构造n个对象数据库D的划分,将其划分成个聚类 ■启发式方法:k平均值(k- means)和k中心点(k- medoids)算 法 ■k-平均值( MacQueen67):每个簇用该簇中对象的平均值来表示 k中心点或PAM( Partition around medoids)( Kaufman Rousseeuw87):每个簇用接近聚类中心的一个对象来表示 ■这些启发式算法适合发现中小规模数据库中的球状聚类 对于大规模数据库和处理任意形状的聚类,这些算法需要进 一步扩展 2014-5-12 K- means聚类算法 算法描述 1.为中心向量c,c2,…,ck初始化k个种子 2.分组 将样本分配给距离其最近的中心向量 √由这些样本构造不相交( non-overlapping) 的聚类 3.确定中心 √用各个聚类的中心向量作为新的中心 4.重复分组和确定中心的步骤,直至算法收敛 2014-5-12 K- means聚类算法(续) 算法的具体过程 1.从数据集{x}1中任意选取k个赋给初始的聚类中心C1 2.对数据集中的每个样本点x,计算其与各个聚类中心 C的欧氏距离并获取其类别标号: label(i)= arg min X-c1P,i=1…,N,j=1,…,k 3.按下式重新计算k个聚类中心; abel(s)=j ,j=1,2,k 4.重复步骤2和步骤3,直到达到最大迭代次数为止 2014-5-12 Matlab程序实现 function [M,j,e]= kmeans(X, K, Max_Its) IN, D=size(X) I=rander(N) M=X(I(1:K),;); MO= M for n=1: Max Its for k=l: K Dist(, k)=sum((X-repmat(M(k, ),N, 1)). 2, 2) end [i,j=min(Dist, [1, 2); for k=l: K if size(find==k))0 M(k,: )=mean(X(find==k), ) end ent 20145-12 Matlab程序实现(续) Z=zeros(n, K) for mEl: N Z(m,J( e= sum(sum(Z Dist)./N); fprintf(%od Error=%f\n, n,e); end 2014-5-12 k-平均聚类算法(续) 将每个 更新簇 对象赋 的平均 给最类 似的中 ↑重新赋值 重新赋值 K=2 任意选择K个对 象作为初始聚类 中 2014-5-12 在图像分割上的简单应用 例1 1.图片:一只遥望大海的小狗 2.此图为100x100像素的JPG图片,每个像素可以表 示为三维向量(分别对应JPEG图像中的红色、绿色 和蓝色通道); 3.将图片分割为合适的背景区域(三个)和前景区域 (小狗); 4.使用K- means算法对图像进行分割 2014-5-12 在图像分割上的简单应用(续) 分割后的效果 注:最大迭代次数为20次,需运行多次才有可能得到较好的效果 2014-5-12