一种新的聚类判别分析框架及其实证研究.docxVIP

一种新的聚类判别分析框架及其实证研究 摘要：在分析经典聚类判别分析方法实质的基础上，提 出了一种新的聚类判别分析框架，改进了一种基于样本指标 值频度计算的两总体判别分析算法，提高了在对所有参与建 立判别模型的样本进行判别时的计算速度；给出了建立在此 改进判别分析算法基础上的一种动态聚类判别分析算法的 设计，并实现了所有算法。进行相应的实证研究，结果表明 以此聚类判别分析框架对给定样本集合进行分析，可以迅速 得到多个合理的聚类结果以及对聚类结果的清晰解释，既可 以对已有的聚类结果进行验证，又可以进行数据的探索性分 析。 关键词：聚类分析；判别分析；动态聚类 0引言 经典聚类分析算法是基于距离计算的。然而除马氏距离 定义外，其他距离定义都存在样本指标的量纲处理问题；除 马氏距离和斜交空间距离定义外，其他距离定义都存在样本 指标的相关性处理问题；另外，包括马氏距离在内的所有距 离定义都存在将用于聚类的指标同等对待的缺点，不能反映 不同指标对聚类结果的贡献程度。 一般情况下，在确定样本间距离计算方法的基础上，用 不同的聚类分析方法得到聚类的结果是不会完全一致的。这 是因为在实际应用中，许多对象在不同类之间本身并无清晰 的划分。这导致了在既定用于聚类的指标组合的情况下，用 不同的聚类方法对同一组样本进行分析会得到不同的聚类 结果。如上所述，即使使用同一种聚类方法，有时由于样本 的排列顺序不同，也可能导致不同的分类结果。这就提出了 对不同的聚类方法进行评价的问题。关于所用方法好坏的评 价，现在还没有一个合适的标准。Edwards和CAVALL I sforza (1965)曾建议把样本分成两类，使得两类间的离差 平方和最大［1］。Walter也指出，应该寻找使类内差异最小 的聚类方法［2］。因此，评价不同聚类方法的一个重要方面， 就是看这些方法得到的聚类结果在类内的接近程度和在类 间的相隔程度。一个较好的分类方法应该得到类内差异较小、 类间差异较大的聚类结果。在实际应用中，一般采用以下两 种处理方法：a)根据分类问题本身的专业知识，结合实际需 要来选择分类的方法，并确定分类的个数；b)用多种方法对 数据进行分析处理，把结果的共性取出来。如果用几种方法 的某些结果都一样，则说明这样的聚类确实反映了事物的本 质。将有争议的样本暂放一边，或者用其他方法如判别分析 进行处理归类。另外，在聚类分析方法既定的情况下，同一 组样本采用不同的指标组合进行聚类分析，通常也会得到不 同的分类结果。产生不同结果的原因主要是由于不同的指标 组合测度是样本间的不同侧面的相似程度，在进行聚类分析 时存在指标组合选择的问题。一般是根据聚类的实际需要进 行指标的选择，这是一个比较复杂并且带有主观性的问题。 实践中，在开始进行聚类分析时，通常是先选择多种指标组 合分别进行聚类，然后对聚类分析的结果进行对比分析，以 确定出合适的测度指标。 判别分析产生于20世纪30年代，是利用已知类别的样 本建立判别模型，为未知类别的样本判别的一种统计方法。 近年来，判别分析在自然科学、社会学及经济管理学科中都 有广泛的应用。判别分析的特点是根据已掌握的、历史上每 个类别的若干样本的数据信息，总结出客观事物分类的规律 性，建立判别公式和判别准则。当遇到新的样本点时，只要 根据总结出来的判别公式和判别准则，就能判别该样本点所 属的类别。判别分析按照判别的组数来区分，可以分为两组 判别分析和多组判别分析。本文仅研究两组判别分析。在众 多的判别分析方法中，最直观的是距离判别法。 均数的距离。哪个距离最小就将它判归到哪个总体。所以, 距离判别法的任务就是构造一个恰当的距离函数，通过样本 与某类别之间距离的大小判别其所属类别。这里仅讨论两个 总体的距离判别法。距离判别只要求知道总体的数字特征, 不涉及总体的分布函数。当参数未知和协方差时，就用样本 的均值和协方差矩阵来估计。 从距离判别法可以看到判别规则是一个线性函数。由于 线性判别函数使用简便，希望能在更一般的情况下建立一种 线性判别函数。Fisher判别法由Fisher在1936年提出,是 根据方差分析的思想建立起来的一种能较好区分各个总体 的线性判别法。该判别方法对总体的分布不作任何要求。 ■本观测数据, 借助于方差分析的思想构造一个线性判别函数： 距离判别法是基于距离计算的，用构造线性判别函数方 法进行样本判别的Fisher判别法也存在着类似基于距离计 算的聚类分析方法当中的不足： a） 将总体和样本的多个指标赋予了同等的判别能力， 而这与现实是不相符合的，即不同的指标在判别样本的归属 时具有不同的判别能力。 b） 没有对用于建立判别分析模型的总体指标进行筛选。 这在两总体的某指标没有显著差异时进行判别分析的意义 不大，误判的概率很大［3,