面向大规模数据快速聚类Kmea.PDFVIP

第３４卷第５期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．５ ２０１７年５月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｙ２０１ ７ 面向大规模数据快速聚类Ｋｍｅａｎｓ算法的研究 郭占元　林　涛 （河北工业大学计算机科学与软件学院　天津３００４０１） 摘　要　　为进一步提高Ｋｍｅａｎｓ算法对大规模数据聚类的效率，结合ＭａｐＲｅｄｕｃｅ计算模型，提出一种先利用 Ｈａｓｈ函数进行样本抽取，再利用Ｐａｍ算法获取初始中心的并行聚类方法。通过Ｈａｓｈ函数抽取的样本能充分反 映数据的统计特性，使用Ｐａｍ算法获取初始聚类中心，改善了传统聚类算法依赖初始中心的问题。实验结果表 明该算法有效提高了聚类质量和执行效率，适用于对大规模数据的聚类分析。 关键词　　大规模数据　聚类算法　ＭａｐＲｅｄｕｃｅ　Ｈａｓｈ样本抽样　Ｐａｍ算法 中图分类号　ＴＰ３１１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０５．００８ ＲＥＳＥＡＲＣＨＯＮＦＡＳＴＣＬＵＳＴＥＲＩＮＧＫＭＥＡＮＳＡＬＧＯＲＩＴＨＭＦＯＲＬＡＲＧＥＳＣＡＬＥＤＡＴＡ ＧｕｏＺｈａｎｙｕａｎ　ＬｉｎＴａｏ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００４０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＴｏｆｕｒｔｈｅｒｅｎｈａｎｃｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆＫｍｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｆｏｒｌａｒｇｅｓｃａｌｅｄａｔａ，ｃｏｍｂｉｎｅｄｗｉｔｈ ＭａｐＲｅｄｕｃｅｃｏｍｐｕｔａｔｉｏｎａｌｍｏｄｅｌ，ａｐａｒａｌｌｅｌｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｕｓｅｓＨａｓｈｆｕｎｃｔｉｏｎｔｏｅｘｔｒａｃｔｓａｍｐｌｅｓ ａｎｄｔｈｅｎｏｂｔａｉｎｓｉｎｉｔｉａｌｃｅｎｔｅｒｂｙＰａｍａｌｇｏｒｉｔｈｍ．ＴｈｅｓａｍｐｌｅｅｘｔｒａｃｔｅｄｂｙＨａｓｈｆｕｎｃｔｉｏｎｃａｎｆｕｌｌｙｒｅｆｌｅｃｔｔｈｅｓｔａｔｉｓｔｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｄａｔａ，ｕｓｉｎｇＰａｍａｌｇｏｒｉｔｈｍｔｏｏｂｔａｉｎｔｈｅｉｎｉｔｉａｌｃｌｕｓｔｅｒｉｎｇｃｅｎｔｅｒ，ａｎｄｉｍｐｒｏｖｅｔｈｅｔｒａｄｉｔｉｏｎａｌ ｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｔｏｒｅｌｙｏｎｔｈｅｉｎｉｔｉａｌｃｅｎｔｅｒｏｆｔｈｅｐｒｏｂｌｅｍ．ＩｔｕｓｅｓｔｈｅＰａｍａｌｇｏｒｉｔｈｍｔｏｏｂｔａｉｎｔｈｅｉｎｉｔｉａｌｃｌｕｓｔｅｒｉｎｇ ｃｅｎｔｅｒ，ａｎｄｉｍｐｒｏｖｅｓｔｈｅｐｒｏｂｌｅｍｏｆｔｈａｔｔｈｅｔｒａｄｉｔｉｏｎａｌｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｓｒｅｌｙｏｎｔｈｅｉｎｉｔｉａｌｃｅｎｔｅｒ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｃｌｕｓｔｅｒｉｎｇｑｕａｌｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙ，ａｎｄｉｓｓｕｉｔａｂｌｅｆｏｒ ｔｈｅｃｌｕｓｔｅｒｉｎｇａｎａｌｙｓｉｓｏｆｌａｒｇｅｓｃａｌｅｄａｔａ． Ｋｅｙｗｏｒｄｓ　　Ｌａｒｇｅｓｃａｌｅｄａｔａ　Ｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ　ＭａｐＲｅｄｕｃｅ　Ｈａｓｈｓａｍｐｌｉｎｇ　Ｐａｍａｌｇｏｒｉｔｈｍ 点；文献［３］利用领导者算法将数据分成不同的部分， ０　引　言 从中选择初始中心点；文献［４－５］选取位于高密度区 域且相距较远的数据对象作为初始中心。上述研究能 聚类分析是数据挖掘领域中的一个重要分支。聚