聚类分析—Kmeans and Kmedoids聚类.ppt

CLARA 改良 解決：CLARANS (Clustering Large Application based upon RANdomized Search) 应用 graph 考虑紧邻节点 不局限于区域性 负杂度：O(n^2) → 缺点 * * * * * * * 数据挖掘 Topic3--聚类分析 K-means K-medoids 聚类 主要内容 K-means算法 Matlab程序实现 在图像分割上的简单应用 K-medoids算法 k-中心点聚类算法--PAM K-medoids改进算法 基于划分的聚类方法 构造n个对象数据库D的划分, 将其划分成k个聚类 启发式方法: k-平均值(k- means)和 k-中心点(k- medoids) 算法 k-平均值(MacQueen’67): 每个簇用该簇中对象的平均值来表示 k-中心点或 PAM (Partition around medoids) (Kaufman Rousseeuw’87): 每个簇用接近聚类中心的一个对象来表示 这些启发式算法适合发现中小规模数据库中的球状聚类 对于大规模数据库和处理任意形状的聚类,这些算法需要进一步扩展 K-means聚类算法 算法描述 为中心向量c1, c2, …, ck初始化k个种子 分组: 将样本分配给距离其最近的中心向量 由这些样本构造不相交（ non-overlapping ）的聚类 确定中心: 用各个聚类的中心向量作为新的中心 重复分组和确定中心的步骤，直至算法收敛 K-means聚类算法（续） 算法的具体过程 从数据集 中任意选取k个赋给初始的聚类中心c1, c2, …, ck； 对数据集中的每个样本点xi，计算其与各个聚类中心cj的欧氏距离并获取其类别标号： 按下式重新计算k个聚类中心； 重复步骤2和步骤3，直到达到最大迭代次数为止。 Matlab程序实现 function [M, j, e] = kmeans(X, K, Max_Its) [N,D]=size(X); I=randperm(N); M=X(I(1:K),:); Mo = M; for n=1:Max_Its for k=1:K Dist(:,k) = sum((X - repmat(M(k,:),N,1)).^2,2); end [i, j]=min(Dist, [], 2); for k=1:K if size(find(j==k))0 M(k, :) = mean(X(find(j==k), :)); end end Matlab程序实现（续） Z = zeros(N,K); for m=1:N Z(m,j(m)) = 1; end e = sum(sum(Z.*Dist)./N); fprintf(%d Error = %f\n, n, e); Mo = M; end k-平均聚类算法(续) 例 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K=2 任意选择 K个对象作为初始聚类中心 将每个对象赋给最类似的中心 更新簇的平均值 重新赋值 更新簇的平均值 重新赋值 在图像分割上的简单应用 例1： 图片：一只遥望大海的小狗； 此图为100 x 100像素的JPG图片，每个像素可以表示为三维向量（分别对应JPEG图像中的红色、绿色和蓝色通道） ； 将图片分割为合适的背景区域（三个）和前景区域（小狗）； 使用K-means算法对图像进行分割。 在图像分割上的简单应用（续） 分割后的效果 注：最大迭代次数为20次，需运行多次才有可能得到较好的效果。 在图像分割上的简单应用（续） 例2： 注：聚类中心个数为5，最大迭代次数为10。 k-平均聚类算法(续) 优点: 相对有效性: O(tkn), 其中 n 是对象数目, k 是簇数目, t 是迭代次数; 通常, k, t n. 当结果簇是密集的，而簇与簇之间区别明显时，它的效果较好 Comment: 常常终止于局部最优. 全局最优 可以使用诸如确定性的退火(deterministic annealing)和遗传算法(genetic algorithms)等技术得到 k-平均聚类算法(续) 弱点 只有在簇的平均值(mean)被定义的情况下才能使用.可能不适用于