第六章 聚类分析-2课件.pptVIP

就业工场数据中心 6.3 凝聚层次聚类 在层次聚类分析中，输入中不指定要分成的类的个数。系统的输入为(X,s)，系统的输出是类的层次。 大多数层次聚类过程不是基于最优的思想，而是通过反复的分区直至收敛，找出一些近似的、未达最优标准的解决方案。 层次聚类算法分为：分裂算法和凝聚算法。 分区算法从整个样本集开始，将它分成几个子集，然后把每个子集分成更小的集合，依次下去，最终，生成一个由粗略到精细的分区序列。 凝聚算法首先把每一个对象当作一个初始类，然后将这些类合并一个更粗略的分区，反复合并直至得到比较精细的分区，其过程是自底向上的过程，分区从精细到粗糙。 凝聚算法又分为单链接和全链接算法，两者不同之处仅在于它们描述一对类的相似度的方法。 单链接算法基于两类之间的距离是从两个类中抽取的两对样本(一个取自第一类，另一个取自第二个)的距离中最小值。 全链接算法基于两类间的距离是每对样本的距离中的最大值。 下图为两种算法的图解说明。 凝聚聚类算法的基本步骤： 1.把每一个样本作为一个类，为所有不同的无序样本对的类间距离构造一个序列，然后按升序对这个序列进行排序。 2.通过已排序的距离序列，对于每一个不同的阈值dk形成一个样本图，图中将距离比dk更近的各对样本合并成一个新的类。如果所有的样本都是这个图的元素则停止，否则，重复该步骤。 3.这个算法的输出是一个嵌套层次图，可以用希望的相似水平去截取，在相应的子图中生成一个由简单联合标识的分区(类聚) 例如：二维样本集共5个点{x1,x2,x3,x4,x5} x1=(0,2),x2=(0,0),x3=(1.5,0),x4=(5.0),x5=(5,2) 其图形化表示如下图： 第一步：计算欧氏距离。 d(x1,x2)=2, d(x1,x3)=2.5 d(x1,x4)=5.4 d(x1,x5)=5 d(x2,x3)=1.5, d(x2,x4)=5, d(x2,x5)=5.29 d(x3,x4)=3.5, d(x3,x5)=4.03 d(x4,x5)=2 按升序排列： d(x2,x3)=1.5,d(x1,x2)=2, d(x4,x5)=2, d(x1,x3)=2.5, d(x3,x4)=3.5,d(x3,x5)=4.03,d(x2,x4)=5,d(x1,x5)=5, d(x2,x5)=5.29, d(x1,x4)=5.39 第二步：单链接算法。 按最小距离合并x2和x3，生成新类{x2,x3}，其距离为1.5。 x4和x5合并成一个新类{x4,x5}，其距离为2。同时，类{x2,x3}和{x1}间的最小距离也是2.0，将其合并成一个新类{x1,x2,x3} ，其距离为2。最后，两个类{x1,x2,x3}和{x4,x5}可以以更高的级别进行合并，其最小单链接距离为3.5。树状图如下： 第三步：选择相似度阈值s=2.2，从图可以得出单链接算法最终生成类： {x1,x2,x3}和{x4,x5} 第二步：全链接算法。 按最小距离合并x2和x3，生成新类{x2,x3}，其距离为1.5。 x4和x5合并成一个新类{x4,x5}，其距离为2。而类{x2,x3}和{x1}间的最大距离是2.5，将其合并成一个新类{x1,x2,x3} 。最后，两个类{x1,x2,x3}和{x4,x5}可以以更高的级别进行合并，其最大单链接距离为5.4。树状图如下： 第三步：选择相似度阈值s=2.2，从图可以得出全链接算法最终生成类： {x1},{x2,x3}和{x4,x5} 可见单链接和全链接算法得到类不同。 6.4 分区聚类 每个分区聚类算法得到都是数据的一个分区,而不是通过层次方法生成树状图这样的聚类结构。分区聚类大规模数据集的应用场合。 最常用的分区聚类方法是基于方差标准的方法。其总的目标是根据固定的类数生成一个总体方差最小的分区。 假设给定的n维空间上的n个样本集被以某种方式分区为K个类{C1,C2,…,Ck}。每个类包括nk个样本。每个样本就是一个类，因此∑nk=N(k=1,…,K) 用类的重心或下面的公式定义类CK的均值向量Mk: 其中，xik是属于类Ck的第i个样本， Ck的方差是Ck中的每个样本及其重心的欧氏距离的平方和。这个误差称为类内误差： 包含K个类的整个聚类空间的平方误差是类内方差的和： 方差聚类方法的目标是对于给出的K，找出使上式最小的包含K个类的一个分区。 K-平均分区聚类算法是最简单、最常用的使用方差准则的算法。 它从一个随机的初始分区开始，根据样本和类间的相似度，将样本重新分配给各类，直到达到一定的收敛准则。通常情况下，当样本从一个类被分配到另一个类时，如果不会出现总体误差减小的情况，便满足收敛准则。 K-平均算法的基本步骤： 选择一个含有随机选择样本的K个类的初始分区，然后计