层次聚类算法.pptxVIP

层次聚类方法概述层次聚类方法将数据对象组成一棵聚类树。根据层次分解是自底向上（合并）还是自顶向下（分裂），进一步分为凝聚的和分裂的。层次聚类层次聚类方法概述凝聚的层次聚类：一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。分裂的层次聚类：采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件。层次凝聚的代表是AGNES算法。层次分裂的代表是DIANA算法。层次聚类簇间距离最小距离层次聚类簇间距离最大距离层次聚类簇间距离平均距离层次聚类簇间距离均值距离层次聚类AGNES算法AGNES(AGglomerative NESting)算法最初将每个对象作为一个簇，然后这些簇根据某些准则被一步步地合并。两个簇间的相似度由这两个不同簇中距离最近的数据点对的相似度来确定。聚类的合并过程反复进行直到所有的对象最终满足簇数目。层次聚类AGNES算法输入：n个对象，终止条件簇的数目k。输出：k个簇，达到终止条件规定簇数目。(1)将每个对象当成一个初始簇；(2)REPEAT(3)根据两个簇中最近的数据点找到最近的两个簇；(4)合并两个簇，生成新的簇的集合；(5)UNTIL达到定义的簇的数目；层次聚类AGNES算法例题序号 属性1属性21 1 12 1 23 2 14 2 25 3 46 3 57 4 48 4 5第1步：根据初始簇计算每个簇之间的距离，随机找出距离最小的两个簇，进行合并，最小距离为1，合并后1,2两个点合并为一个簇。第2步：对上一次合并后的簇计算簇间距离，找出距离最近的两个簇进行合并，合并后3,4点成为一簇。第3步：重复第2步的工作，5,6点成为一簇。第4步：重复第2步的工作，7,8点成为一簇。第5步：合并{1,2}，{3,4}成为一个包含四个点的簇。第6步：合并{5,6}，{7,8}，由于合并后的簇的数目已经达到了用户输入的终止条件，程序终止。步骤 最近的簇距离 最近的两个簇 合并后的新簇1 1 {1}，{2} {1,2}，{3}，{4}，{5}，{6}，{7}，{8} 1 {3}，{4} {1,2}，{3,4}，{5}，{6}，{7}，{8} 1 {5}，{6} {1,2}，{3,4}，{5,6}，{7}，{8} 1 {7}，{8} {1,2}，{3,4}，{5,6}，{7,8} 1 {1,2},{3,4} {1,2,3,4}，{5,6}，{7,8} 1 {5,6}，{7,8} {1,2,3,4}，{5,6,7,8}结束层次聚类层次聚类层次聚类层次聚类AGNES特点AGNES算法比较简单，但经常会遇到合并点选择的困难。假如一旦一组对象被合并，下一步的处理将在新生成的簇上进行。已做处理不能撤销，聚类之间也不能交换对象。如果在某一步没有很好的选择合并的决定，可能会导致低质量的聚类结果。层次聚类DIANA算法DIANA（Divisive ANAlysis)算法是典型的分裂聚类方法。在聚类中，用户能定义希望得到的簇数目作为一个结束条件。层次聚类算法DIANA（自顶向下分裂算法）输入：n个对象，终止条件簇的数目k。输出：k个簇，达到终止条件规定簇数目。（1）将所有对象整个当成一个初始簇；（2） FOR （i=1; i≠k; i++) DO BEGIN（3） 在所有簇中挑出具有最大直径的簇C；（4） 找出C中与其它点平均相异度最大的一个点p并把p放入splinter group，剩余的放在old party中；（5）REPEAT（6） 在old party里找出到最近的splinter group中的点的距离不大于到old