一种Hadoop平台下的树形聚类算法_张波.docxVIP

JournalofChineseComputerSystemsVol．37No．82016一种Hadoop平台下的树形聚类算法张波，徐蔚鸿，陈沅涛，朱玲(长沙理工大学计算机与通信工程学院，长沙410114)E-mai:653083866@qq．com摘要:针对现有算法在大数据背景下聚类效果差，以及由于迭代等原因导致处理性能低等问题，提出一种在Hadoop平台高效并行的聚类算法PAClustering．先提出一种基于权重的方法，将整体数据按分布划分成若干数据块，并针对每个数据块将紧凑的数据抽象成一个向量，形成微团，最后通过树形合并进行聚类，在提高聚类准确度的同时有效避免了传统算法在聚类过程中的迭代运算．在不同大小数据集上的实验表明，PAClustering算法不仅具有较高的聚类准确度和稳定性，同时具有良好的处理性能．关键词:大数据;Hadoop;并行聚类;微团;树形合并中图分类号:TP399文献标识码:A文章编号:1000-1220(2016)08-1770-05ArborescenceClusteringAlgorithmBasedonHadoopPlatformZHANGBo，XUWei-hong，CHENYuan-tao，ZHULing(SchoolofComputer＆CommunicationEngineering，ChangshaUniversityofScience＆T