聚类分(数学建模).pptVIP

分类 俗语说，物以类聚、人以群分。 但什么是分类的根据呢？ 比如，要想把中国的县分成若干类，就有很多种分类法； 可以按照自然条件来分， 比如考虑降水、土地、日照、湿度等各方面； 也可以考虑收入、教育水准、医疗条件、基础设施等指标； 既可以用某一项来分类，也可以同时考虑多项指标来分类。 聚类分析 对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。 比如学生成绩数据就可以对学生按照理科或文科成绩（或者综合考虑各科成绩）分类， 当然，并不一定事先假定有多少类，完全可以按照数据本身的规律来分类。 本章要介绍的分类的方法称为聚类分析（cluster analysis）。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。 饮料数据（drink.sav ） 16种饮料的热量、咖啡因、钠及价格四种变量 如何度量远近？ 如果想要对100个学生进行分类，如果仅仅知道他们的数学成绩，则只好按照数学成绩来分类；这些成绩在直线上形成100个点。这样就可以把接近的点放到一类。 如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100个点，也可以按照距离远近来分类。 三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已。在饮料数据中，每种饮料都有四个变量值。这就是四维空间点的问题了。 两个距离概念 按照远近程度来聚类需要明确两个概念：一个是点和点之间的距离，一个是类和类之间的距离。 点间距离有很多定义方式。最简单的是歐氏距离，还有其他的距离。 当然还有一些和距离相反但起同样作用的概念，比如相似性等，两点越相似度越大，就相当于距离越短。 由一个点组成的类是最基本的类；如果每一类都由一个点组成，那么点间的距离就是类间距离。但是如果某一类包含不止一个点，那么就要确定类间距离， 类间距离是基于点间距离定义的：比如两类之间最近点之间的距离可以作为这两类之间的距离，也可以用两类中最远点之间的距离作为这两类之间的距离；当然也可以用各类的中心之间的距离来作为类间距离。在计算时，各种点间距离和类间距离的选择是通过统计软件的选项实现的。不同的选择的结果会不同，但一般不会差太多。 聚类分析（Cluster Analysis）是研究“物以类聚”的一种多元统计方法。国内有人称它为群分析、点群分析、簇群分析等。 一、聚类分析的基本概念 3、职能是建立一种能按照样品或变量的相 似程度进行分类的方法。 R型聚类分析的主要作用： ⒈不但可以了解个别变量之间的亲疏程度，而且可以了解各个变量组合之间的亲疏程度。 ⒉根据变量的分类结果以及它们之间的关系，可以选择主要变量进行Q型聚类分析或回归分析。（R2为选择标准） Q型聚类分析的主要作用： ⒈可以综合利用多个变量的信息对样本进行分析。 ⒉分类结果直观，聚类谱系图清楚地表现数值分类结果。 ⒊聚类分析所得到的结果比传统分类方法更细致、全面、合理。 那么Q型系统聚类法则可以表述为： 把样本看成n维空间的点，而把变量看成n维空间的坐标轴，m个样本开始时自成一类，然后规定各类之间的距离，将距离最小的一对并成一类，然后再计算距离，直到所有单位全部合并为止。 二、距离 常见的距离有： minkowski distance （明氏距离）： 明氏距离在实际中应用的很多，但也存在一些缺点： Mahalanobis 马氏距离 ⒉相似系数 ① 夹角余弦 两变量的夹角余弦定义为： ② 相关系数 两变量的相关系数定义为： 类的个数的确定 由适当的阈值确定； 根据数据点的散布直观地确定类的个数； 根据统计量确定分类个数； 类的个数的确定 根据谱系图确定分类个数的准则： 各类重心间的距离必须很大； 类中保包含的元素不要太多； 类的个数必须符合实际应用； 如果采用几种不同的聚类方法处理，则在各种聚类图中应该发现相同的类。 系统聚类法基本步骤 7.决定类的个数和类。 系统聚类分析的方法 以下用dij表示样品X(i)和X(j)之间的距离，当样品间的亲疏关系采用相似系数Cij时，令 例 为了研究辽宁等5省1991年城镇居民生活消费情况的分布规律，根据调查资料做类型分类，用最短距离做类间分类。数据如下： 将每一个省区视为一个样本，先计算5个省区之间的欧式距离，用D0表示距离矩阵（对称阵，故给出下三角阵） 因此将3.4合并为一类，为类6，替代了3、4两类 类6与剩余的1、2、5之间的距离分别为： d(3,4)1=min(d31,d41)=m