基于网格和密度聚类算法分析与研究.docVIP

基于网格和密度聚类算法分析与研究 　　摘 要：针对CLIQUE算法的特点以及所存在的问题进行深入的研究。为了进一步提高其处理高维海量数据的能力，在原算法的基础上提出一种基于密度样本分析和基于最优区间分割进行改进的聚类算法，并通过使用仿真数据加以验证是可行的，理论分析与实验结果表明，与原算法相比，改进算法不仅保留原算法的优点，且对大规模数据集有着很好的聚类效果。 　　关键词：聚类；最优区间分割；密度；CLIQUE算法 　　中图分类号：TP301文献标识码：A文章编号：1004373X(2008)2012503 　　 　　Research and Analysis of Clustering Algorithm Based on Grid and Density 　　XU Yingjie,SUN Junyi 　　(Computer College,Hubei University of Technology,Wuhan,430068,China) 　　Abstract：The characters and existing problems of CLIQUE clustering algorithm are intensive researched.In order to improve the ability of solving the high dimention and mass data,based on the old algorithm,a modified one with the methods of density and the best space division is presented.Proving it with simulation data and it is feasible.Theory analysis and experimental results demonstrate the improved algorithm not only can keep its old advantages but also can get better clustering results. 　　 　　Keywords：clustering;the best space division;density;CLIQUE algorithm 　　 　　1 引 言 　　 　　在早期，聚类分析作为统计学的一个分支，主要集中在基于距离的聚类分析。随着机器学习研究领域的兴起，聚类成为无指导学习的一个例子。聚类分析是依据样本间关联的量度标准将其自动分成几个群组，使同一群组内的样本相似，而属于不同群组的样本相异的一组方法［1］。现在，聚类算法已成功地应用在空间数据库、模式识别、图像处理、过程优化、生物学以及市场营销、配方设计等许多领域中，并取得了良好效果。根据对象数据间相似度和对聚类评价准则的不同，常用的聚类方法可分为:划分方法、层次的方法、基于密度的方法、基于网格的方法和基于模型的方法等。为了进一步提高聚类算法在处理高维海量数据时的准确性和有效性，本文重点研究与改进CLIQUE算法，并通过实验加以仿真。 　　 　　2 CLIQUE算法分析 　　 　　CLIQUE聚类算法综合了基于密度和网格的聚类算法的特点。它对于大型数据库中高维数据的聚类非常有效。给定一个多维数据点的数据集合，数据点在数据空间中通常不是均匀分布的。CLIQUE将数据空间分割成网格单元，把落到某一个网格单元中点的个数当成这个单元的密度。可以指定一个阂值，当某一个网格单元中点的个数大于阂值时，就说这个单元格是稠密的。聚类就可定义为相连的密集单元的最大集合［1］。 　　CLIQUE对元组的输入顺序不敏感，无需假设任何规范的数据分布。CLIQUE自动发现最高维的子空间，高密度聚类存在于这些子空间中。它随输入数据的大小线性的扩展，当数据维数增加时具有良好的可伸缩性，但是它也存在着很多局限性，主要有以下几点［2］。 　　（1） 边缘区域精度问题。由于算法采用硬划分技术，在类的边界区域。其包含的点数比较少，有可能被误认为非密集单元，这样就容易破坏类的边缘区域，降低结果的准确性。 　　（2） 孤立点问题。CLIQUE算法不能自动去除数据集中的孤立点，需要增加额外的步骤去除孤立点，这就增加了算法复杂性。 　　（3） 子空间的剪枝问题。CLIQUE算法应用一种剪枝技术来减少密集单元候选集的数目。通过把在同一个子空间中的密集单元分组，并且找出每一个子空间中密集单元选出的数据覆盖。覆盖大的子空间将被选出其余的将被剪枝。这种技术可能遗失一些密集单元。 　　（4） 算法的精确性问题。算法中很多步骤都大大简化，并且用的是近似算