基于加权策略的特征选择对聚类算法的改进.pdfVIP

专题7知识管理与技术创新 基于加权策略的特征选择对聚类算法的改进 杨杰1，张巍2，刘鹏3 1，3．上海财经大学信息管理与工程学院，上海200433 2．上海财经大学校长办公室，上海200433 jackieyan90206@yahoo．En 摘要：聚类足数据挖掘的重要研究领域之一，目前针对聚类问题主要有基于划分、基于密度以及基于层次的算法，本文 论述了．各种聚类算法的特点以及不足之处，分析了目前对于各种聚类算法改进策略。接着迸一步分析了日前基于特征选择 对聚类算法的改进策略，目前大多数的特征选择策略都是一种。一1选择，也就是基于特征子集的聚类，加权思想也是目前研 究的一种改进方向，本文讨论了特征选择中模糊加权策略对聚类算法的改进，分析比较各种加权策略对聚类改进的效果以及 局限性。 关键词：特征选择；加权；聚类算法 全局最优，也就是说不同初始点的选择可能获得不同 1 引 言 的聚类结果，但是每次聚类的结果都是基于初始点的 聚类是数据挖掘领域的热点问题之一，它描述了 局部最优结果。为了解决这样的问题，有一个简单的 数据集的内部结构，通过聚类算法对数据集的信息进 处理方法——二分K均值法，这种算法是一种对K— 行挖掘，发现样本的之|、日J的簇关系，根据数据之间的相 mean算法的扩充，其基本思想是：为了得到K个簇， 似性对数据库中的数据进行分类，从而优化大规模数 那么将所有的点分裂成两个簇，然后再从这些簇当中 据库的查询和发现数据中隐含的有用信息或知识。聚 选取一个簇继续分裂，依此类推，直至得到K个簇，但 类在很多领域中有着广泛的应用，如：模式识别、图象 是在二分K均值法的运算过程中，部分地采用的K— 处理、数据压缩、空问数据分析[1][2|、市场研究、wWW means算法，即二分个体簇，因此最终簇并不是SSE局 上的文本分析——对WEB的日志数据聚类以后发现 部最小的聚类结果，但是这种算法在处理传统的K— 相似的}方问模式等。 means算法在初始点选择的敏感性上有比较好的效 聚类是将物理或抽象的样本集合分成多个组的过 果。 程，聚类生成的组称为簇(Cluster)，即簇足样本的集 合。聚类就是要让生成的簇内部任意两个样本之间具 类中心的作用。这样的一个medoid就标识了这个类， 有较高的相似度，而属于不同簇的两个样本之问具有 这种算法计算量要比K均值大，一般只适合小数据 较高的相异度。事实上，聚类算法中有很多算法的相 量。 似性都是基于距离度量的，如K一均值算法、I卜中心 K—mean算法以及它的变种都有一个问题，当簇遇 点算法、基于凝聚的层次聚类和基于分裂的层次聚类 到非球形或者具有不同尺寸、不同密度时的数据时，它 等‘31。 们都不能较好的处理。同样它们对于离群点也都不能 很好的识别。另一个不足之处在于它们不能处理非数 2聚类算法存在的问题 值型数据，因为付I似性的度量是建立在距离的计算基 目前存在多种聚类方法，每种算法都有各自的特 础上的，所以K—mean以及它的变种仅限于处理具有 点，可以处理某一类问题。基于划分的聚类，也就是给 中心概念的数据集。 定n个对象的数据集，分割成K个类别，基本思想是 Clara算法是一种基于采样的方法，能够处理大量 从一个初始划分开始，通过优化一个评价函