第5章节 聚类分析.ppt

第一节 引言 “物以类聚，人以群分”。对事物进行分类，是人们认识事物的出发点，也是人们认识世界的一种重要方法。因此，分类学已成为人们认识世界的一门基础科学。 在生物、经济、社会、人口等领域的研究中，存在着大量量化分类研究。例如：在生物学中，为了研究生物的演变，生物学家需要根据各种生物不同的特征对生物进行分类。在经济研究中，为了研究不同地区城镇居民生活中的收入和消费情况，往往需要划分不同的类型去研究。在地质学中，为了研究矿物勘探，需要根据各种矿石的化学和物理性质和所含化学成分把它们归于不同的矿石类。在人口学研究中，需要构造人口生育分类模式、人口死亡分类状况，以此来研究人口的生育和死亡规律。 但历史上这些分类方法多半是人们主要依靠经验作定性分类，致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别与联系；特别是对于多因素、多指标的分类问题，定性分类的准确性不好把握。为了克服定性分类存在的不足，人们把数学方法引入分类中，形成了数值分类学。后来随着多元统计分析的发展，从数值分类学中逐渐分离出了聚类分析方法。随着计算机技术的不断发展，利用数学方法研究分类不仅非常必要而且完全可能，因此近年来，聚类分析的理论和应用得到了迅速的发展。 聚类分析就是关于如何对样品（或变量）进行量化分类的科学方法。通常聚类分析分为Q型聚类和R型聚类。Q型聚类是对样品进行分类处理，R型聚类是对变量进行分类处理。 第二节 相似性的量度 一、变量测量尺度的类型 一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关系；而为了将变量进行分类，就需要研究变量之间的关系。但无论是样品之间的关系，还是变量之间的关系，都是用变量来描述的，变量的类型不同，描述方法也就不同。通常，变量按照测量它们的尺度不同，可以分为三类。 (1)间隔尺度 指标度量时用数量来表示，其数值由测量或计数、统计得到，如长度、重量、收入、支出等。一般来说，计数得到的数量是离散数量，测量得到的数量是连续数量。在间隔尺度中如果存在绝对零点，又称比例尺度。 (2)顺序尺度 指标度量时没有明确的数量表示，只有次序关系，或虽用数量表示，但相邻两数值之间的差距并不相等，它只表示一个有序状态序列。如评价酒的味道，分成好、中、次三等，三等有次序关系，但没有数量表示。 (3)名义尺度 指标度量时既没有数量表示也没有次序关系，只有一些特性状态，如眼睛的颜色，化学中催化剂的种类等。在名义尺度中只取两种特性状态的变量是很重要的，如电路的开和关，天气的有雨和无雨，人口性别的男和女，医疗诊断中的“十”和“一”，市场交易中的买和卖等都是此类变量。 由于间隔尺度变量对分类可以提供更准确的量化信息，并且具有较统一定义距离的方法以及良好的统计性质，还是应用最广泛的变量类型，以下只讨论这类变量距离的定义。 另一方面，多元变量的数据一般都存在量纲的差别，通过不同变量的某种运算定义的距离，往往缺乏实际意义。因此，在聚类分析之前通常的做法是先对原始变量实施适当的变换处理。 二、数据的变换处理 所谓数据变换，就是将原始数据矩阵中的每个元素，按照某种特定的运算把它变成为一个新值，而且数值的变化不依赖于原始数据集合中其它数据的新值。 1、中心化变换 中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。设原始观测数据矩阵为： 中心化变换的结果是使每列数据之和均为0，即每个变量的均值为0，而且每列数据的平方和是该列变量样本方差的(n—1)倍，任何不同两列数据交叉乘积之和是这两列变量样本协方差的(n—1)倍，所以这是一种很方便地计算方差与协方差的变换。 2、极差规格化变换 规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差，就得到规格化数据。即有： 经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；并且变换后的数据都不再具有量纲，便于不同的变量之间的比较。 3、标准化变换 标准化变换也是对变量的数值和量纲进行类似于规格化变换的一种数据处理方法。首先对每个变量进行中心化变换，然后用该变量的标准差进