聚类分析3幻灯片课件.pptVIP

聚类分析; 例1 对10位应聘者做智能检验。3项指标X，Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行分类。;聚类分析 研究对样品或指标分类问题的一种多元统计 方法. 根据一批样品的许多观测指标，按照一定的数 学公式具体地计算一些样品或一些参数(指标) 的相似程度，把相似的样品或指标归为一类。 ;聚类分析内容 系统聚类分析 直观，易懂。 快速聚类（动态聚类） 快速，动态。;按照分类对象不同;;;直观看，这个分类是否合理？ 计算4号和6号得分的离差平方和： (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和： (28-18)2+(29-23)2+(28-18)2=236 计算1号和3号得分的离差平方和为482，由此可见一般，分类可能是合理的，欧氏距离很大的应聘者没有被聚在一起。 ; 问题： 如何来选择样品间相似的测度指标，如何 将有相似性的类连接起来？ 具体问题： 样本点之间按什么刻画相似程度？ 样本点和小类之间按什么刻画相似程度？ 小类与小类之间按什么来刻画相似程度？ 常用刻画样品之间关系的量为相似系数和距离;一.变量测量尺度的类型 通常变量按照测量它们的尺度不同分为三类。 1.间隔尺度 变量度量时用数量来表示，其数值由测量或计数、统计得到，如长度、重量、收入、支出等。 一般来说，计数得到的数量是离散数量，测量得到的数量是连续数量。 在间隔尺度中如果存在绝对零点，又称比例尺度。 ;2.顺序尺度 变量度量时没有明确的数量表示，只有次序关系。 如评价酒的味道，分成好、中、次三等，三等有 次序关系，但没有数量表示。 3.名义尺度 变量度量时既没有数量表示也没有次序关系，只有一些 特性状态。 如眼睛的颜色，化学中催化剂的种类等。 在名义尺度中只取两种特性状态的变量是很重要的， 如电路的开和关，天气的有雨和无雨，人口性别的 男和女，等都是此类变量。;二.数据的变换处理 ;中心化后 每列数据之和均为0，即??个变量的均值为0. 每列数据的平方和是该列变量样本方差的(n—1)倍. 任何不同两列数据之积是这两列变量样本协方差 的(n—1)倍. 所以很方便地计算方差与协方差的一种数据变换。;2、标准化变换 先对每个变量进行中心化变换，然后用该变量的标准差 进行标准化。即： ;标准化变换后 数据矩阵中每列数据的平均值为0，方差为1. 数据不再具有量纲，便于不同变量之间的比较. 数据矩阵中任何两列数据之积是两个变量相关系数 的（n－1）倍. 是方便计算相关系数矩阵的一种数据变换。;三.样品间亲疏程度的测度;R型聚类分析 指变量之间的聚类，常用相似系数来测度变量之间的 亲疏程度。 Q型聚类分析 指样品之间的聚类，常用距离来测度样品之间的亲疏 程度。 ; 1.定义距离的准则 ;2.常用距离的算法;;(2) 兰氏距离 兰思和维廉姆斯(Lance Williams)所给定的一种距 离，计算公式为：; (3)马氏距离（又称广义欧氏距离） 马哈拉诺比斯(P．C．Mahalanobis)所定义的一种距 离，计算公式为：;特点： 不受量纲的影响 考虑了观测变量之间的相关性。 也考虑到了各个观测指标取值的差异程度，;(4) 斜交空间距离; 2. 相似系数的算法 （1）相似系数（相关系数） ; （2）夹角余弦;四.距离和相似系数选择原则 问题 同一批数据采用不同的亲疏测度指标，会得到不 同的分类结果。 因此在进行聚类分析时，应注意亲疏测度指标的选择。 通常应注意遵循的基本原则主要有： ; (1)所选择的亲疏测度指标在实际应用中应有明确的 意义。 如在经济变量分析中，常用相关系数表示经济变量 之间的亲疏程度。;(2) 要综合考虑已对样本观测数据实施了的变换方法和将 要采用的聚类分析方法。 如在标准化变换之下，夹角余弦实际上就是相关系数； 如在进行聚类分析之前已经对变量的相关性作了处理， 则通常就可采用欧氏距离，而不必选用斜交空间距离。 此外还须和所选用的聚类分析方法一致。如聚类方法若 选用离差平方和法，则距离只能选用欧氏距离。;(3)适当地考虑计算工作量的大小。