第7篇 聚类分析0.pptVIP

一、常用的种类 1、 最短距离法（Nearest Neighbor) x21? x12? x22? x11? 2、 最长距离法 ? ? ? x11? x21? ? ? ? 3、中间距离法 最长距离 最短距离 中间距离 4、可变方法 如果让中间距离法的递推公式前两项的系数也依赖于?，则递推公式为： 用上式作为递推公式的系统聚类法称为可变法。 类平均法定义类间的距离是两类间样品的距离的平均数。 5、类平均法 定义距离： 6、可变类平均法 类平均法的递推公式中，没有反映GK类和GL类的距离有多大，进一步将其改进，加入D2KL，并给定系数?1，则类平均法的递推公式改为： 用此递推公式进行聚类就是可变类平均法。递推公式由： K类和L类与J类的距离的加权平均数 K类和L类的距离 两项的加权和构成，β的大小根据哪项更重要而定。 7、离差平方和法 类似于方差分析的想法，如果类分得恰当，同类内的样品之间的离差平方和应较小，而类间的离差平方和应当较大。 离差平方和法的思路是，先让n个样品各自成一类，然后缩小一类，每缩小一类离差平方和就要增大，选择使S2增加最小的两类合并，直到所有的样品归为一类为止。离差平方和法定义类间的平方距离为 其中 是由GK和GL合并成的GM类的类内离差平方和。可以证明离差平方和的聚类公式为 分别为GK和GL的重心，类与类之间的平方距离定义为两个类重心（类内样品平均值）间的平方距离。 重心法，也称为样品的均值法。设GK和GL 为两个类 8、重心法 设某一步GK和GL的重心分别为 和 ，类内的样品数分别为nK和nL，如果要把GK和GL合并为GM类，则GM类的样品数nM=nK+nL，GM类的重心为 和 的加权算术平均数： 距离递推公式为 二、确定类的个数 在聚类分析过程中类的个数如何来确定才合适呢？这是一个十分困难的问题，人们至今仍未找到令人满意的方法。但是这个问题又是不可回避的。下面我们介绍几种方法。 1、给定阈值——通过观测聚类图，给出一个合适的阈值T。要求类与类之间的距离不要超过T值。例如我们给定T=0.35，当聚类时，类间的距离已经超过了0.35，则聚类结束。 2、R2统计量 总离差平方和的分解 总离差平方和 类内离差平方和 离差平方和分解式 类间离差平方和 统计量 其中W是数据的总离差平方和， 是组内离差平方和。 比较大，说明分k个类时类内的离差平方和比较小，也就是说分k类是合适的。但是，分类越多，每个类的类内的离差平方和就越小， 也就越大；所以我们只能取合适的k，使得 足够大。比如，假定分4类时， =0.8； 下一次合并分3类时,下降了许多， =0.32，则分4 类是合适的。 3、伪F统计量的定义为 伪F统计量用于评价聚为k类的效果。如果聚类的效果好，类间的离差平方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小的聚类水平。 4、伪 统计量的定义为 其中 和 分别是的类内离差平方和， 是将K和L合并为第M类的离差平方和 = - - 为合并导致的类内离差平方和的增量。用它 评价合并第K和L类的效果，伪 统计量大说 明不应该合并这两类，应该取合并前的水平。 三、系统聚类法的基本性质 （一） 单调性 在聚类分析过程中，并类距离分别为l k（k=1，2，3，…?）若满足 ，则称该聚类方法具有单调性。可以证明除了重心法和中间距离法之外，其他的系统聚类法均满足单调性的条件。 （二）空间的浓缩和扩张 1、 定义矩阵的大小 设同阶矩阵D（A）和D（B），如果D（A）的每一个元素 不小于D（B）的每一个元素，则记为 。 2、空间的浓缩和扩张 设有两种系统聚类法A和B，他们在第i步的距离矩阵分别为Ai和Bi（I=1，2，3…），若AiBi ，则称第一种方法A比第二种方法B使空间扩张，或第二种方法比第一种方法浓缩。 3、方法的比较 D（短） D（平），D（重） D（平）； D（长） D（平）； 当