大型数据库中的聚类方法研究.pdfVIP

EraNo．62008 ·6· Computer 大型数据库中的聚类方法研究 田瑞。周学君 (三峡大学电气信息学院，湖北宜昌443002) 摘要：聚类分析算法已广泛地应用于数据挖掘。文章总结了大型数据库数据挖掘对聚类算法的基本要求，介绍了广泛 应用于大型数据库的三种聚类算法，并对它们进行了性能比较；结果表明，不同的聚类方法，对于相同的记录集合可能有 不同的聚类结果，因此应根据实际需要采用相应的聚类分析算法。 关键词：大型数据库；数据挖掘；聚类算法；算法性能 O引言 定义2 CF树是一个带有分支因子(一个结点具有的最 数据挖掘是从大量的数据中抽取出潜在的、有价值的知识 大子结点数)B的平衡树。内部结点的每个子结点都包含一个 (模型或规则)的过程。数据挖掘聚类算法用于处理数据挖掘序 CF三元组。每个结点也代表一个簇，并且其每个子簇都包含 列的分类、分割、关联和数据分析。 一个CF条目。在叶结点中的子簇要有一个不超过给定阈值T 所谓聚类就是按照事物的某些属性，把事物聚集成类，使 的直径。 类间的相似性尽可能小，类内的相似性尽可能大。通过聚类，能 BIRCH算法的主要特点是使用聚类特征。聚类特征提供了 够识别密集和稀疏的区域，发现全局的分布模式以及数据属性 簇的概括。由定义可知，BIRCH仅适用于数值型数据。该算法使 之间的相互关系等。 用一个叫CF树的数据结构。 常用的聚类分析算法有平均误差聚类算法、K一均值聚类 BIRCH算法对结点进行自上而下的搜索，利用每个结点包 算法、最近邻算法、PAM算法等等。每一种方法都有自己的优 含其子簇的聚类特征信息，汇集相近的点最终构建出CF树。一 势和不足，在数据挖掘应用中，要针对不同的数据对象，从聚类 个点总是插入与自身最近的簇(由一个结点表示)中。如果叶结 的有效性和算法的时效性来选择一种相对合理的聚类算法。 点的直径超过T，则对树进行分裂和平衡(与B树的做法相 似)。通过调整阈值，这个算法可以适应主存规模。—个大的阈 1大型数据库聚类 值T产生一棵小的CF树。执行这个过程不需要重新读取数据。 1．1大型数据库聚类算法的基本要求 聚类特征数据提供了压缩所需要的信息。算法的复杂性是o(n)。 上面提到的都是一些传统的聚类算法，在大型数据库上进 算法如下： 行聚类时，这些算法并不合适。首先，这些技术都要求有足够的 算法l 主存(因为大多数算法的复杂度都是0(哟)，用于储存聚类数据 输入： ． 及相应的数据结构。由于大型数据库包含了成千上万个元组 D={t，，t2，…，tn}，，成员集合 (或更多)，因此这些要求是不现实的。另外，在算法的多次迭 T 代中，不断地进行I／O操作也要付出很大代价。 输出： 为了在大型数据库上进行有效的聚类，相应的聚类算法 K--{K，，K2，…，K-1)／／簇集 应该f1】： BIRCH聚类算法：