第4章 层次聚类法(二).pptVIP

层次聚类法 2011年6月4 层次聚类法也称系统聚类法或分级聚类法,是工作中采用最多的方法之一. 该方法将距离阈值作为决定聚类数目的标准. 基本思路是每个样本先自成一类,然后按距离准则逐步合并,减少聚类数,直到达到分类的要求为止. 算法描述 结束条件： 思考 如何计算合并后的聚类与其它没有合并的模式类之间的距离,或者合并后的聚类间的距离? 类间距离的定义 (2)最长距离法 (3)中间距离法 (4)重心法 (5)类平均距离 类间距离的定义方法不同,会使分类结果不太一致.实际问题中常用几种不同的方法进行计算,比较其分类结果,从而选择一个比较切合实际的分类. 上述五中类间距离的定义方法,可以采取统一的递推公式. 例题 * * * N个初始模式样本自成一类,即建立N类。计算各类之间（各样本间）的距离，得到一个维的距离矩阵。标号（0）表示聚类开始运算前的状态。 如在前一步聚类运算中，已求得聚类矩阵（为逐次聚类合并的次数），则找出中的最小元素，将其对应的两类合并为一类。由此建立新的分类： 计算合并后新类别之间的距离，得到距离矩阵。 转制步骤(2)，重复计算与合并。 设定一个距离阈值，当的最小分量超过给定值时，算法停止。这就意味着，所有的类间距离均大于要求的值，各类已经足够分开了，这时所得到的分类即为聚类结果。或者不设阈值，一直到将全部样本聚为一类为止，输出聚类的分级树。 最短距离法： 如果H、K是两个聚类，则两类间的最短距离定义为 其中表示H类中的样本和K类中的样本之间的欧氏距离；表示H类中的所有样本与K类中的所有样本之间的最小距离。 如果K类由和两类合并而成，则 得递推公式 与最短距离法类似，H、K是两个聚类，则两类间的最短距离定义为 如果K类由和两类合并而成，则 得递推公式 中间距离法介于最长与最短的距离之间。如果K类是由I类和J类合并而成，则H和K类之间的距离为 重心法类间距离中考虑每一类中所包含的样本数目，如果I类中有个样本，J类中有个样本，则I和J合并后共有个样本。用和代替中间距离法的系数，即可得到重心法的类与类之间的距离递推式 如果H、K是两个聚类，则两类间的距离定义为 其中表示H类中的任一样本和K类中的任一样本之间的欧氏距离平方;和分别表示H类和K类的样本数目.如果K类是由I类和J类合并而成,则可以得到H类和K类之间距离的递推式 设有5个二维模式样本： 定义类间距离为最短距离，阈值T=3，利用层次聚类法对这5个样本进行分类。 解：(1) 将每一样本看作单独一类 计算各类间欧式距离 , ,, ; ,, ; ,; 得距离矩阵D(0) D(0) 0 1 * 0 2 0 0 0 (2) 将最小距离1对应的两类合并为一类，得到新的分类 按最小距离准则计算类间距离，由D(0)递推得到聚类后的距离矩阵D(1) D(1) 0 2 0 0 * 0 (3) 将最小距离对应的两类合并为一类，距离矩阵D(2) D(2) 0 2* 0 0 (4) 将最小距离2对应的两类合并为一类，距离矩阵D(3) D(3) 0 0 给定的阈值T=3，D(3)中的最小元素，聚类结束，结果为 , .