51 距离与相似系数.ppt

NORTH UNIVERSITY OF CHINA 第五章 聚类分析 《数据分析》电子教案 第五章 第一节 一、聚类分析的基本思想及意义 二、样品间的相似度量 三、变量间的相似度量 距离与相似系数 一、聚类分析的基本思想及意义 聚类分析是研究分类问题的多元数据分析方法，是数值分类学的一分支。有广泛的应用背景，如在经济学中，为了了解不同地区城镇居民的收入及消费情况，往往需要划分不同的类型区研究；在产品质量管理中，要根据各产品的某些重要指标而将其分为一等品、二等品等；在生物学中，要根据各生物体的综合特征进行分类；在考古中要将某些古生物化石进行科学的分类，等等。 聚类分析的基本思想是在样品之间定义距离，在变 量之间定义相似系数，距离或相似系数代表样品或变量 之间的相似程度。按相似程度的大小，将样品(或变量) 逐一归类，关系密切的类聚集到一个小的分类单位，然 后逐步扩大,使得关系疏远的聚合到一个大的分类单位， 直到所有的样品(或变量)都聚集完毕，形成一个表示 亲疏关系的谱系图，依次按照某些要求对样品(或变量) 进行分类。 多元数据形成数据矩阵,在这个数据矩阵中,共有n 个样品 (列向)，p个指标(横向). 聚类分析 有两种类型： 按样品聚类或 按变量(指标) 聚类。 聚类分析与判别分析的区别与联系 聚类分析一般寻求客观的分类方法。在进行聚类之 前，对总体到底有几类类型并不知道（究竟分几类较为 合适需从计算中探索调整）。 判别分析则是在总体类型划分已知，在各总体分布 或来自总体训练样本基础上，对当前的新样本判定它们 属于哪个总体。 联系:例如当我们对研究的多元数据的特征不悉, 就要先进行聚类分析,才能考虑判别分析问题. 二、样品间的相似性度量——距离 设有n个样品的多元观测数据： 每个样品可看成p元空间的一个点，n个样品组成p 元空间的n个点。 我们用各点之间的距离来衡量各种样品之间的相似 程度(或靠近程度)。 设 是样品 之间的距离，一般要求它满足 下列条件： 在聚类分析中，有些距离不满足3）,我们在广义的 角度上仍称它为距离。 聚类分析中常用的距离 欧式距离 令 形成一个距离矩阵 其中 绝对距离 Minkowski距离 当 时分别是欧式距离、绝对距离。Minkowski距离 又称 距离， 距离即欧式距离， 距离即绝对距离. Chebyshev距离 Chebyshev距离是Minkowski距离当 时的极限。 以上距离与各变量指标的量纲有关，为消除量纲的 影响，有时应先对数据进行标准化，然后用标准化数据 计算距离。标准化数据 其中 方差加权距离 对标准化数据 计算欧式距离时，即方差加权距离. 马氏距离 算得的协方差阵 其中S是由样品 样品聚类通常称为Q型聚类.在SAS系统中,采用欧式距离聚类或先将数据标准化，再计算欧式距离进行聚类.（实际上就是采用了方差加权距离） 三、变量间的相似性度量——相似系数 当对p个指标变量进行聚类时，用相似系数来衡量变 量之间的相似性程度（或关联性程度）。 若 表示变量 之间的相似系数，应满足 相关系数 由样品 算得协方差矩阵S与相关矩阵R。 变量 与 的相关 系数为： 变量 与 的相关 系数为： 夹角余弦 变量聚类通常称为R型聚类。在R型聚类中，相似矩 阵 相似系数矩阵可以是相关矩阵，也可以是夹角余弦矩阵，Spearman相关矩阵。 是出发点。 NORTH UNIVERSITY OF CHINA 第五章 聚类分析 《数据分析》电子教案