误差分析 聚类分析之快速聚类法课件.pptVIP

* 聚类分析的快速聚类法 聚类分析 样品间相似性的度量 快速聚类分析及实例 目录 分类 俗语说，物以类聚、人以群分。 但什么是分类的根据呢？ 比如，要想把中国的县分成若干类，就有很 多种分类法； 可以按照自然条件来分， 比如考虑降水、土地、日照、湿度等各方面； 也可以考虑收入、教育水准、医疗条件、基础设施等指标； 既可以用某一项来分类，也可以同时考虑多项指标来分类。 基本思想是：通过定义样品或变量间“接近程度”的度量，以此为基础，将“相近”的样品或变量归为一类 。 聚类分析的介绍 聚类分析和判别分析是研究分类问题的数据分析方法。 聚类分析和判别分析的比较 判别分析中的训练样本往往是从聚类分析中得到的 联系 总体分类已给定，在总体分布或来自总体训练样本基础上，对新样品判定属于哪个总体 进行聚类分析前对总体有几种类型并不知道 区别 判别分析 聚类分析 引入:如何度量远近？ 如果想要对100个学生进行分类，如果仅仅知道他 们的数学成绩，则只好按照数学成绩来分类；这些成绩在直线上形成100个点。这样就可以把接近的点放到一类。 如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100个点，也可以按照距离远近来分类。 三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已。 设X= 为所关心的p个指 标，对此指标作n次观测得n组观测值 称这n组观测数据为n个样品。这样，每个样品可看成p维空间的一个点，n个样品组成p维空间的n个点，我们可以用各点之间的距离来衡量个样品点之间的靠近程度。 样品间相似性的度量 1 欧氏距离 2 绝对距离 3 Minkowski距离 其中m≥1，又称为Lm距离。 4 Chebyshev距离 是Minkowski距离当m→＋∞时的极限。 广义的“距离”： 由于不同指标通常有不同的量纲，这会引起各取值的分散程度差异 较大，有时会造成很不合理的结果，为了消除此种影响，常需要在 分析前对数据进行标准化处理。 5 方差加权距离 标准化数据 的欧氏距离就是方差加权距离。 ? 6 马氏距离 通常都是尝试各种不同距离分析，最终采用最有利于分类的距离定义。 [ ] ? ? = = - = - - - = - - = - n i i T n i i i n j i T j i j i x n x x x x x n S x x x S x x S x x x x d 1 1 2 1 2 1 1 1 ) )( ( 1 1 , , , ) ( ) ( ) ( 其中 算得的协方差矩阵： 是由样品 其中 L 令 形成n个样品 两两之间的距离矩阵： 其中 思想：首先将样品粗糙得分类，然后再依据样品间的距离按一定规则逐步调整，直至不能再调整为止。 适合于：样本数目较大的数据集的聚类分析 局限性：需要事先指定分类的数目，而且此数目对最终分类结果有较大影响。 解决办法：实际中一般要对多个分类的数目进行尝试，以找出合理的分类结果 快速聚类分析及实例 1 选择聚点(聚类中心点) 经验选择 将n个样品人为地（或随机地）分为k类， 以每类的均值向量（称为重心）作为聚点。 最大最小原则 先选择所有样品中相距最远的两个样品为初始的两个聚点，然后,选择第3个聚点(与前两个聚点的距离最小者 ), 按相同的原则依次选取下去，直至选出k个聚点。 （1）随机选择聚类种子点或中心点； （2）将每个观察样本分配给最近的种子； （3）重新把每个聚集中的中心点作为种子； （4）不断重复上述过程直到种子的变化 足够小为止。 快速聚类法的步骤 快速聚类法的步骤 设k个初始聚点的集合是 用下列原则实现初始分类： 这样，将样品分成不相交的k类，以上初始分类的原则是每个样品以最近的初始聚点归类，这样得到一个初始分类 2.从 出发，计算新的聚点集合 ，以 的重心作为新的聚点： 其中 是类 中的样品数。这样，得到新的聚点集合 从 出发，将样品作新的分类。记 得到分类 这样依次进行下去。 在以上递推计算过程中， 不一定是样品，又一般不是 的重心。当m逐渐增大，分类趋于稳定，此时， 就会近似为 的重心，从而 算法即可结束。 实际计算时，从某一步m开始，分类 与 完全相同，计算即告结束。 3.设在第m步得到分类 实例:国产轿车市场竞争格局的快速聚类分析 通过几个主要的汽车网站,收集2006年11 月6- 12 日 目前汽车产品的车型主要参数和厂家指导价.利用SPSS 软件, 采用聚类分析的方法, 对目前主要的轿车产品进行了聚类处理。 车型的生产企业和企业所属集团代码的说明 1-中国(自主品牌) 2-欧洲 3-日