第5章聚类分析(full)讲解.pptVIP

第一节 引言 “物以类聚，人以群分” 无监督分类?聚类分析 分析如何对样品（或变量）进行量化分类的问题 Q型聚类—对样品进行分类 R型聚类—对变量进行分类 第二节 相似性的量度 一、样品相似性的度量 Q型聚类分析，常用距离来测度样品之间的相似程度 每个样品有p个指标（变量）从不同方面描述其性质，形成一个p维的向量。如果把n个样品看成p维空间中的n个点，则两个样品间相似程度就可用p维空间中的两点距离公式来度量。 令dij 表示样品Xi与Xj的距离，一般应满足： (i) dij≥0，对一切i,j； (ii) dij=0，当且仅当第i个样品与第j个样品的各变量值相同； (iii) dij=dji，对一切i,j； (iv) dij≤dik+dkj，对一切i,j,k。 一、样品相似性的度量 1．明考夫斯基距离(明氏距离) 一、样品相似性的度量 2．马氏距离 设Xi与Xj是来自均值向量为? ，协方差为∑ =（＞0）的总体 G中的p维样品，则两个样品间的马氏距离为 马氏距离又称为广义欧氏距离 马氏距离考虑了观测变量之间的相关性 若各变量之间相互独立，马氏距离退化加权欧氏距离 马氏距离还考虑了观测变量之间的变异性，不再受各指标量纲的影响 一、样品相似性的度量 3．兰氏距离 它仅适用于一切Xij0的情况 可以克服各个指标之间量纲的影响； 对大的奇异值不敏感，特别适合于高度偏倚的数据； 但它没有考虑指标之间的相关性； 一、样品相似性的度量 不同的距离公式的侧重点和实际意义都有所不同 同一批数据采用不同的距离公式，可能会得到不同的分类结果 距离公式选择基本原则： 要考虑所选择的距离公式在实际应用中有明确的意义 欧氏距离就有非常明确的空间距离概念 马氏距离有消除量纲影响的作用 要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法 如在进行聚类分析之前已经对变量作了标准化处理，则通常可采用欧氏距离 要考虑研究对象的特点和计算量的大小 归根到底：Application Driven: 根据研究对象的特点不同做出具体分折 Try 二、变量相似性的度量 相对于数据的大小，更多地对变量的变化趋势或方向感兴趣 变量间的相似性--方向趋同性或“相关性” “夹角余弦法” “相关系数” 1、夹角余弦 两变量Xi与Xj为p维空间的两个向量，其夹角余弦为： 显然，∣cos ? ij∣ ? 1 二、变量相似性的度量 2．相关系数 变量Xi与Xj的相关系数定义为 显然有，∣rij∣ ? 1。 二、变量相似性的度量 它们的绝对值都小于1，统记为cij 当∣cij∣= 1时，说明变量Xi与Xj完全相似； 当∣cij∣近似于1时，说明变量Xi与Xj非常密切； 当∣cij∣ = 0时，说明变量Xi与Xj完全不一样； 当∣cij∣近似于0时，说明变量Xi与Xj差别很大。 变换为距离度量： dij = 1 ? ∣cij∣或 dij2 = 1 ? cij2 第三节 系统聚类分析法 一、系统聚类的基本思想 距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中 系统聚类过程：（假设总共有n个样品（或变量）） 1. 将每个样品（或变量）独自聚成一类，共有n类； 2. 根据所确定的样品（或变量）的“距离”公式，把距离较近的两个样品（或变量）聚合为一类，其它的样品（或变量）仍各自聚为一类，共聚成n ?1类； 3. 将“距离”最近的两个类进一步聚成一类，共聚成n ?2类； 4. ……循环之 5. 将所有的样品（或变量）全聚成一类 谱系图—描绘聚类过程 二、类间距离与系统聚类法 类间距离--类与类之间的距离 定义不同，方法