聚类分析及MATLAB实现概论.pptVIP

第3 章 聚类分析( cluster analysis);3.1 样品（变量）间相近性度量 3.1.1 聚类分析的基本思想;聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法，它们讨论的对象是大量的样品，要求能合理地按各自的特性来进行合理的分类。 聚类原则是同一类中的个体有较大的相似性，不同类中的个体差异很大。;例1.为了研究辽宁、浙江、河南、甘肃、青海5省1991年城镇居民生活消费规律，需要利用调查资料对五个省进行分类，指标变量共8个，意义如下：x1:人均粮食支出，x2:人均副食支出;x3:人均烟酒茶支出，x4:人均其他副食支出,x5:人均衣着商品支出,x6:人均日用品支出，x7:人均燃料支出，x8人均非商品支出;图1 最短距离聚类图; 聚类分析又称群分析,它是研究对样品或指标进行分类的一种多元统计方法. 所谓的“类”，通俗地说就是相似元素的集合.聚类分析是按照观测样品(或变量)取值的相似程度，对观测样品(或变量)进行分类，使在同一类内的观测样品(或变量)是相似的，不同类间的观测(或变量)是不相似的.;聚类分析有两种：一种是对样品的分类，称为Q型，另一种是对变量（指标）的分类，称为R型。 ;设有n个样品的p元观测数据组成一个数据矩阵;3.1.2 样品间的相似度量—距离;1.欧氏距离;7.兰氏距离;例1.为了研究辽宁、浙江、河南、甘肃、青海5省1991年城镇居民生活消费规律，需要利用调查资料对五个省进行分类，指标变量共8个，意义如下：x1:人均粮食支出，x2:人均副食支出;x3:人均烟酒茶支出，x4:人均其他副食支出,x5:人均衣着商品支出,x6:人均日用品支出，x7:人均燃料支出，x8人均非商品支出;计算各省之间的欧氏、绝对、明氏距离;S = 0 0 0 0 0 11.6726 0 0 0 0 13.8054 24.6353 0 0 0 13.1278 24.0591 2.2033 0 0 12.7983 23.5389 3.5037 2.2159 0;3.1.3 变量间的相似度量——相似系数;① 夹角余弦 两变量的夹角余弦定义为： ;② 相关系数 两变量的相关系数定义为： ;例2.计算例1中各指标之间的相关系数与夹角余弦;3.2 系统聚类法 系统聚类法是目前应用较为广泛的一种聚类法。谱系聚类是根据生物分类学的思想对研究对象进行分类的方法。在生物分类学中，分类的单位是：门、纲、目、科、属、种。其中种是分类的基本单位，分类单位越小，它所包含的生物就越少，生物之间的共同特征就越多。利用这种思想，系统(谱系)聚类首先将各样品自成一类，然后把最相似（距离最近或相似系数最大）的样品聚为小类，再将已聚合的小类按各类之间的相似性（用类间距离度量）进行再聚合，随着相似性的减弱，最后将一切子类都聚为一大类，从而得到一个按相似性大小聚结起来的一个谱系图。;系统聚类法的基本思想;系统聚类分析的方法;最短距离法(single linkage) 最长距离法(complete linkage) 中间距离法(median method) 可变距离法(flexible median) 重心法(centroid) 类平均法(average) 可变类平均法(flexible average) Ward最小方差法(Ward’s minimum variance) ;3.2.1 类间距离;最短距离 ;（3）类平均距离;;3.2.2 类间距离的递推公式;证明：;上式第二行合并同类项，得;1. 选择样本间距离的定义及类间距离的定义； 2. 计算n个样本两两之间的距离，得到距离矩阵 3. 构造个类，每类只含有一个样本； 4. 合并符合类间距离定义要求的两类为一个新类； 5. 计算新类与当前各类的距离。若类的个数为1，则转到步骤6，否则回到步骤4; 6.画出聚类图； 7.决定类的个数和类。 ;系统聚类法的基本步骤;（1）n个样品开始作为n个类，计算两两之间的距离或相似系数，得到实对称矩阵;（3）从D1出发重复步骤（2）的做法得到D2，再由D2出发重复上述步骤，直到所有样品聚为一个大类为止。;例1.为了研究辽宁、浙江、河南、甘肃、青海5省1991年城镇居民生活消费规律，需要利用调查资料对五个省进行分类，指标变量共8个，意义如下：x1:人均粮食支出，x2:人均副食支出;x3:人均烟酒茶支出，x4:人均其他副食支出