多元统计分析课件(聚类分析).ppt

Cluster Analysis 第一节 什么是聚类分析 聚类分析也是一种分类技术。是研究“物以类聚”的一种方法。与多元分析的其他方法相比，该方法理论上还不完善，但由于它能解决许多实际问题，很受人们的重视，应用方面取得了很大成功。 举 例 对10位应聘者做智能检验。3项指标X，Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行分类。 应聘者得分如下 聚类分析内容 系统聚类 动态聚类 模糊聚类 图论聚类 第二节距离和相似系数 变量的类型 变量按测量尺度的不同可以分为以下三类： 1、间隔尺度变量（数值型变量） 用连续的数量来度量，如长度、重量、产值、成本 2、有序尺度变量（有序变量）如一、二、三等品 不能用明确的数量度量，用等级表示，有次序关系。 3、名义尺度变量 用一些类来表示。性别中的男与女，职业的分类。 聚类的种类 根据分类的对象可将聚类分析分为： （1）Q型（即样品的聚类clustering for individuals） （2）R型（即变量或指标的聚类clustering for variables) 1、对样品分类（Q型）常用的距离与相似系数的定义 样本资料矩阵 样本资料矩阵 （1）距离 定义距离的准则 定义第i个和第j个样品间的距离要求满足如下四个条件（距离可以自己定义，只要满足距离的条件）： 明氏（Minkowski ）距离 绝对值距离 绝对值距离实例 欧式（Euclidian ）距离 二维空间欧式距离 欧氏Euclidian距离实例 切比雪夫距离 变量标准化 标准化欧式距离 马氏Mahalanobis 距离 Mahalanobis 距离实例 兰氏 Canberra距离 距离矩阵 样品间距离矩阵 例 题 学生的身高与体重资料 （2）相似系数 2、对指标（变量）分类（R型） 相似系数的定义 夹角余弦（Cosine） 相似矩阵 变量间相似矩阵 相关系数 相似矩阵 第三节 八种系统聚类方法（hierarchical clustering method） 将n个样品各作为一类 （一）最短距离法(single linkage，nearest neighbor) 递推公式 例1  设抽取五个样品，每个样品只侧一个指标，他们是1，2，3.5，7，9，试用最短距离法对五个样品进行分类。（样品间用绝对值距离） D（0） 表1 D（1） 表2 D（2） 表3 D（3） 表4 最短距离法聚类的步骤 （二）最长距离法 （Furthest Neighbor ） 递推公式 D（0） 表1 D（1） 表2 D（2） 表3 D（3） 表4 （三）中间距离法Median method （四）重心法 （Centroid clustering): （五）类平均法（Between-group Linkage) ? ? ? 递推公式 （六）可变类平均法 类平均法的递推公式中，没有反映Gp类和Gq类的距离有多大，进一步将其改进，加入D2Pq，并给定系数?1，则类平均法的递推公式改为： （七）可变法 （八）离差平方和法(ward法） 第四节 系统聚类的基本性质 1、单调性 设Dk是系统聚类法中第K次并类时的距离，如果 D1 D2 … ，则称并类距离具有单调性。 可以证明除了中间距离法和重心法之外，其他的系统聚类法均满足单调性的条件。 G7={X1, X2,X3} 0 G8={X4,X5 } 30.25 0 D2（3） G7 G8 ? ? 类类间：两类重心之间的距离即均值点间的距离 递推公式 注意:初始距离用欧式距离则有下列 G1={X1} 0 G2={X2} 1 0 G3={X3} 6.25 2.25 0 G4={X4} 36 25 12.25 0 G5={X5} 64 49 30.25 4 0 D2（0） G1 G2 G3 G4 G5 G6={X1, X2} 0 G3={X3} 4 0 G4={X4} 30.25 12.25 0 G5=