聚类分析K means and K medoids聚类要点.pptVIP

数据挖掘 Topic3-- 聚类分析 K-means K-medoids 聚类 2018/10/5 主要内容 K-means 算法 Matlab 程序实现 在图像分割上的简单应用 K-medoids 算法 k- 中心点聚类算法 --PAM K-medoids 改进算法 2018/10/5 基于划分的聚类方法 ? 构造 n 个对象数据库 D 的划分 , 将其划分成 k 个聚类 ? 启发式方法 : k- 平均值 ( k- means ) 和 k- 中心点 ( k- medoids ) 算 法 ? k- 平均值 (MacQueen67): 每个簇用该簇中对象的平均值来表示 ? k- 中心点或 PAM (Partition around medoids) (Kaufman Rousseeuw87): 每个簇用接近聚类中心的一个对象来表示 ? 这些启发式算法适合发现中小规模数据库中的球状聚类 ? 对于大规模数据库和处理任意形状的聚类 , 这些算法需要进 一步扩展 2018/10/5 K-means 聚类算法 ? 算法描述 1. 为中心向量 c 1 , c 2 , …, c k 初始化 k 个种子 2. 分组 : ? 将样本分配给距离其最近的中心向量 ? 由这些样本构造不相交（ non-overlapping ） 的聚类 3. 确定中心 : ? 用各个聚类的中心向量作为新的中心 4. 重复分组和确定中心的步骤，直至算法收敛 2018/10/5 K-means 聚类算法 （续） ? 算法的具体过程 1. 从数据集 中任意选取 k 个赋给初始的聚类中心 c 1 , c 2 , …, c k ； 2. 对数据集中的每个样本点 x i ，计算其与各个聚类中心 c j 的欧氏距离并获取其类别标号： 3. 按下式重新计算 k 个聚类中心； 4. 重复步骤 2 和步骤 3 ，直到达到最大迭代次数为止。 1 { } N n n ? x 2 ( ) arg min || || , 1,..., , 1,..., i j j label i i N j k ? ? ? ? x c : ( ) , 1,2,..., s s label s j j j c j k N ? ? ? ? x 2018/10/5 Matlab 程序实现 function [M, j, e] = kmeans(X, K, Max_Its) [N,D]=size(X); I=randperm(N); M=X(I(1:K),:); Mo = M; for n=1:Max_Its for k=1:K Dist(:,k) = sum((X - repmat(M(k,:),N,1)).^2,2); end [i, j]=min(Dist, [], 2); for k=1:K if size(find(j==k))0 M(k, :) = mean(X(find(j==k), :)); end end 2018/10/5 Matlab 程序实现 （续） Z = zeros(N,K); for m=1:N Z(m,j(m)) = 1; end e = sum(sum(Z.*Dist)./N); fprintf(%d Error = %f\n, n, e); Mo = M; end 2018/10/5 k- 平均聚类算法 ( 续 ) ? 例 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8