谱系聚类法要点要点.ppt

二、数据的变换处理 设原始观测数据矩阵为： 中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值. 1、中心化变换 结果使每个变量均值为0，每列数据的平方和是该列变量样本方差的(n—1)倍，任何不同两列数据之交叉乘积是这两列变量样本协方差的(n—1)倍，中心化变换可方便地计算方差与协方差。 2、极差规格化变换 从数据矩阵的每一个变量中找出其最大值和最小值,这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差，即有： 变换后，数据矩阵中每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；并且变换后的数据都不再具有量纲，便于不同的变量之间的比较。 3、标准化变换 标准化变换也是对变量的数值和量纲进行类似于规格化变换的一种数据处理方法。首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。即有： 变换后，每个变量的平均值为0，方差为1，且也具有量纲，同样也便于不同变量之间的比较；数据阵中任何两列数据乘积之和是两个变量相关系数的（n－1）倍，方便计算相关矩阵。 4．对数变换 对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。即： 三、确定类的个数 在聚类分析过程中类的个数的确定是一个十分困难的问题，人们至今仍未找到令人满意的方法。但是这个问题又是不可回避的。下面我们介绍几种方法。 1、给定阈值——通过观测聚类图，给出一个合适的阈值T。要求类与类之间的距离不要超过T值。例如我们给定T=0.35，当聚类时，类间的距离已经超过了0.35，则聚类结束。 总离差平方和的分解（准备知识） 2、谱系聚类法的统计量 如果这些样品被分成两类 类中心 类中心 Tk为分为k类时的组内离差平方和。 若第m步分为k个类, 总离差平方和＝组内离差平方和＋组间离差平方和 ● ● ● ● ● ● ● ● 伪F统计量用于评价聚为G类的效果。如果聚类的效果好，类间的离差平方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小的聚类水平。 2、伪F统计量的定义为 Pseudo F Statistic 0 10 20 30 40 50 60 70 80 90 100 110 120 Number of Clusters 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 3、半偏相关统计量 半偏相关统计量 4、伪 统计量的定义为 其中 和 分别是的类内离差平方和， 伪 统计量大说明不应该合并这两类，应该取合并前的水平。 在R中, 函数rect.hclust()可以确定分类个数, 其使用格式为: rect.hclust(tree, k = NULL, h = NULL,border = 2) tree是前面聚类函数hclust生成的对象 k是类的个数 h是谱系图中的阈值, border标明矩形框的颜色 “2”是红色 例6.1中加入语句 rect.hclust(hcs, k =3, h = NULL,border =2) 则输出图形为: 四、主要的步骤 1、选择变量 （1）和聚类分析的目的密切相关 （2）反映要分类变量的特征 （3）在不同研究对象上的值有明显的差异 （4）变量之间不能高度相关 2、计算相似性 相似性是聚类分析中的基本概念，他反映了研究对象之间的亲疏程度，聚类分析就是根据对象之间的相似性来分类的。有很多刻画相似性的测度 3、聚类 选定了聚类的变量，计算出样品或指标之间的相似程度后，构成了一个相似程度的矩阵。这时主要涉及两个问题： （1）选择聚类的方法 （2）确定形成的类数 4、聚类结果的解释和证实 对聚类结果进行解释是希望对各个类的特征进行准确的描述，给每类起一个合适的名称。这一步可以借助各种描述性统计量进行分析，通常的做法是计算各类在各聚类变量上的均值，对均值进行比较，还可以解释各类别产生的原因。 全国31个主要城市(1971-2000年)气候标准值, 保存在数据文件data.exam6.2.txt , 变量意义如下: V1:年平均气压(0.1百帕), V2:年平均气温(0.1摄氏度), V3:年极端最高气温(0.1摄氏度), V4：:年极端最低气温(0.1摄氏度) V5:年平均相对湿度(百分率), V6:年平均总云量(0.1成), V7: 年平均风速(0.1米/秒), V8:年降水量(0.1毫米). 试用欧氏距离,分别采用最长距离法,类平 均法和Ward法进行聚类分析. 城市 V1 V2