环境数据处理与数学模型课件 08-环境数据分析方法-6.pptVIP

基本概念 聚合图 反映聚类过程 系统聚类 系统聚类法介绍 系统聚类法(Hierarchical cluster analysis) 最常用的聚类方法 必须计算类与类之间的距离Dpq 根据Dpq的定义不同，系统聚类法有多种类型 最短距离法 最长距离法 重心法 类平均法(组内联结法) 离差平方和法(Ward法) 系统聚类 最短距离法 x1 x2 x3 x4 x5 x6 x7 X8 辽宁 1772.14 568.25 298.66 352.20 307.21 490.83 364.28 202.50 浙江 2752.25 569.95 662.31 541.06 623.05 917.23 599.98 354.39 河南 1386.76 460.99 312.97 280.78 246.24 407.26 547.19 188.52 甘肃 1552.77 517.16 402.03 272.44 265.29 563.10 302.27 251.41 青海 1711.03 458.57 334.91 307.24 297.72 495.34 274.48 306.45 x1食品支出（元/人） x2衣着支出（元/人） x3家庭设备、用品及服务支出（元/人） x4医疗保健支出（元/人） x5交通和通讯支出（元/人） x6娱乐、教育和文化服务支出（元/人） x7居住支出（元/人） x8杂项商品和服务支出（元/人） 例20： 系统聚类 最短距离法 5个省份之间的欧氏距离矩阵D0 距离越小，表明两省城镇居民的消费水平越接近 将1,5合并成新类6，然后计算G6与G2,G3,G4的距离 G6和G4合并，1,4,5成一类G7 系统聚类 最短距离法 辽宁 青海 甘肃 河南 浙江 也可用于对变量分类，如果使用相似系数分类时，找到最大的相似系数，把相应的两类合并 因为类与类之间的距离为所有距离中的最短值，两类合并后，与其他类的距离缩小了，这样容易形成一个比较大的类，大部分样本被聚集在一起 系统聚类 分类数的确定 系统聚类的结果：聚类图 确定分类数是聚类分析中尚未完全解决的问题之一 分类原则 任何类都必须在邻近各类中是突出的，即各类重心之间距离必须大 各类所包含的元素都不应过多 分类的数目应该符合使用的目的 若采用几种不同的聚类方法处理，则在各自的聚类图上应发现相同的类 构造统计量，利用统计量的变化趋势来确定 系统聚类 分类数的确定 构造统计量，利用统计量的变化趋势来确定 R2统计量 R2=1-PG/T 其中PG为分类数为G个类时的总类内离差平方和，T为所有变量的总离差平方和 R2越大，说明分为G个类时每个类内的离差平方和都比较小，也就是分G个类是合适的 但显然分类越多，每个类越小， R2越大 只能取G使得R2足够大，但G本身比较小，而且R2不再大幅度增加 系统聚类 分类数的确定 构造统计量，利用统计量的变化趋势来确定 伪F统计量 F=[(T-PG)/(G-1)]/[PG/(n-G)] 其中PG为分类数为G个类时的总类内离差平方和，T为所有变量的总离差平方和，n为样本个数 如果分为G个类合理，则内类离差平方和(分母)应该较小，类间离差平方和(分子)相对较大，所以应该取伪F统计量较大而类数较小的聚类水平 系统聚类 系统聚类法的特性 单调性 设Dr为系统聚类中第r次并类时的距离 若一个系统聚类能够保证Dr严格单调上升，则称其具有单调性 单调性符合聚类的思想：先结合的类关系较近，后结合的类关系较疏远 最短距离法、最长距离法、类平均法及离差平方和法均具有单调性 重心法不具有单调性 系统聚类 系统聚类法的特性 空间的浓缩与扩张 不同的方法，并类距离(聚类图的横坐标)范围相差很远 范围小?浓缩，范围大?扩张 最短距离法的范围较小，最长距离法的范围较大，类平均法则介于两者之间 范围小的灵敏度差，范围大的灵敏度过高，适中为好 最短距离法≤类平均法≤最长距离法 重心法≤类平均法≤离差平方和法 许多书推荐类平均法，不太浓缩，也不太扩张 k均值聚类 基本概念 K-means cluster，也称“快速聚类法” 是一种非谱系聚类法 根据各类中样本的均值进行聚类划分的一种聚类分析算，利用各聚类中样本均值所获得的“类中心”来计算聚类相似度 输入 n个样本数据，聚类个数k 输出 k个聚类 同一类中的对象相似度高；不同类中的对象相似度小 k均值聚类 聚类流程 Step1：从n个样本中或样本范围内任意选择k个样本作为初始聚类中心(种子、初始类中心) Step2：根据各样本距离初始聚类中心的距离(欧式距离)，将n个样本初始分类(离哪个中心近，进入哪一类) Step3：根据每个聚类中样本的各变量均值，确定迭代类中心 Step4：计算每个样本与这些迭代类中心的距离，并根据各样本到类中心的最小