一种基于加速迭代的大数据集谱聚类方法.pdfVIP

第 39卷 第 5期 计 算 机 科 学 Vo1．39No．5 2012年 5月 Computer Science M av20l2 一 种基于加速迭代的大数据集谱聚类方法 陈丽敏 杨 静 张健沛 (哈尔滨工程大学计算机科学与技术学院 哈尔滨 150001) (牡丹江师范学院计算机科学与技术系 牡丹江 157011)。 摘 要 传统谱聚类算法的诸多优点只适合小数据集。根据Laplacian矩阵的特点重新构造新的Gram矩阵，输入新 构造矩阵的若干列，然后利用加速迭代法解决大数据集的谱聚类特征提取 问题，使得在大数据集条件下，谱聚类算法 只需要很小的空间复杂度就可达到非常快的计算速度。 关键词 聚类，谱聚类 ，大规模数据集 ，加速迭代法 ，Laplacian矩阵 中图法分类号 TP311 文献标识码 A SpectralClusteringAlgorithm forLargeScaleDataSetBasedonAcceleratingIterativeM ethod CHENLi-min11 YANGJing ZHANGJian-pei (InstituteofComputerScienceandTechnology，HarbinEngineeringUniversity，Harbin150001，China) (InstituteofComputerScienceandTechnology，MudanjiangTeachersCollege，Mudanjiang157011，China)。 A~tmct Theadvantageofthetraditionalspectralclusteringalgorithm isapplicableinthesmallscaledataset．A new methodwasproposedinthelightofthelaplacianmatrixcharacteristics．First，anew Gram matrixwasreconstructedand someliesofthenew matrixwereneeded，then theeigen-decomposition basedonaccelerating iterativemethodwas solved．Thecalculationspeedoftheprop。sedmethodisveryfastandthespacecomplexityissmallforlargescaledataset． Keywords Clustering，Spectralclustering，Large-scaledataset，Acceleratingiterativemethod，Laplacianmatrix 一 种增量的协方差无关的方法，它不像传统方法一样特征分 1 引言 解协方差矩阵，而是循环地输入样本向量。算法的空间复杂 聚类分析是机器学习、数据挖掘领域中的重要理论，是发 度只有O()，计算复杂度也只有 O(pkn)。其中n为全部样 现和揭示数据内在结构的主流技术。处理庞大数据量时，能 本数，P为迭代次数，k为聚类数。算法的收敛性也已经得到 在聚类分析研究上取得好的成果，对于数据分析具有十分重 了证明 。依据文献[5]的思想，史卫亚等 利用Gram矩阵 要的意义。传统的聚类算法，如k-means算法、EM算法等都 特点，提出了一种解决大规模数据集问题的核主成分分析算 建立在凸球型的样本空间上，当样本空间不为凸时，多数情况 法，它通过迭代求出核主成分。这种迭代方法虽然空间复杂 下算法会陷入局部最优。