基于云计算平台的并行DBSCAn算法.PDF

第３３卷 第１期 广东工业大学学报 　 Ｖｏｌ．３３Ｎｏ．１ 　 　 　 　 　 　 　 　 　２０１６年１月　 ＪｏｕｒｎａｌｏｆＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ 　　Ｊａｎｕａｒｙ２０１６ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７７１６２．２０１６．０１．０１０ 基于云计算平台的并行 ＤＢＳＣＡＮ算法 蔡永强，陈平华，李　惠 （广东工业大学 计算机学院，广东 广州５１０００６） 摘要：ＤＢＳＣＡＮ算法是一种典型的基于密度的聚类算法，具有速度快、可以发现噪声的优点，但在处理大规模数据 时出现聚类效率低、内存和Ｉ／Ｏ消耗大、聚类精度降低的问题，集群式计算机技术特别是云计算技术的发展提供了 解决ＤＢＳＣＡＮ算法缺陷的方案．文中提出了数据预分区的并行ＰＭＤＢＳＣＡＮ算法，该算法在聚类之前对数据分区预 处理，利用并行编程模型ＭａｐＲｅｄｕｃｅ实现ＤＢＳＣＡＮ算法并行化，结合重叠分区思想，减少Ｉ／Ｏ消耗．实验结果表明， 在大规模数据集上，ＰＭＤＢＳＣＡＮ算法聚类有效提高了聚类的速度、减少了Ｉ／Ｏ消耗、改善了聚类的质量． 关键词：大规模数据库；ＤＢＳＣＡＮ算法；重叠分区；映射／归约 中图分类号：ＴＰ３１１５　　　　　　文献标志码：Ａ　　　　　　文章编号：１００７７１６２（２０１６）０１００５１０６ ＰａｒａｌｌｅｌＤＢＳＣＡＮＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＣｌｏｕｄＣｏｍｐｕｔｉｎｇＰｌａｔｆｏｒｍ ＣａｉＹｏｎｇｑｉａｎｇ，ＣｈｅｎＰｉｎｇｈｕａ，ＬｉＨｕｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒｓ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓａｔｙｐｉｃａｌｒｅｐｒｅｓｅｎｔａｔｉｖｅｏｆｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ，ＤＢＳＣＡＮａｌｇｏｒｉｔｈｍｈａｓｔｈｅａｄｖａｎｔａｇｅｓｏｆ ｆａｓｔｓｐｅｅｄａｎｄｈｅｌｐｓｔｏｆｉｎｄｔｈｅｎｏｉｓｅｏｆｄａｔａ．Ｈｏｗｅｖｅｒ，ｉｎｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ，ｔｈｅｒｅａｒｅｐｒｏｂｌｅｍｓｏｆｌｏｗ ｃｌｕｓｔｅｒｉｎｇｅｆｆｉｃｉｅｎｃｙ，ｈｉｇｈｍｅｍｏｒｙａｎｄＩ／Ｏｒｅｑｕｉｒｅｍｅｎｔ，ａｎｄｐｏｏｒｃｌｕｓｔｅｒｉｎｇｐｒｅｃｉｓｉｏｎ．Ｗｉｔｈｔｈｅｓｕｐｐｏｒｔ ｏｆｃｌｕｓｔｅｒｃｏｍｐｕｔｅｒｔｅｃｈｎｏｌｏｇｙｅｓｐｅｃｉａｌｌｙｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｃｌｏｕｄｃｏｍｐｕｔｉｎｇ，ｔｈｅｓｏｌｕｔｉｏｎｓｔｏｔｈｅｐｒｏｂ ｌｅｍｓｏｆＤＢＳＣＡＮａｌｇｏｒｉｔｈｍｍｅｎｔｉｏｎｅｄａｂｏｖｅｃａｎｂｅｐｒｏｖｉｄｅｄａｎｄｐｒｏｇｒｅｓｓｅｄｓｉｇｎｉｆｉｃａｎｔｌｙ．Ｔｈｉｓｐａｐｅｒ ｐｒｏｐｏｓｅｓａｐａｒａｌｌｅｌＰＭＤＢＳＣＡＮａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄａｔａｐａｒｔｉｔｉｏｎｗｈｉｃｈｃａｎｐｒｅｐｒｏｃｅｓｓｄａｔａｐａｒｔｉｔｉｏｎｂｅ ｆｏｒｅｃｌｕｓｔｅｒｉｎｇ，ｒｅａｌｉｚｅｐａｒａｌｌｅｌｉｚａｔｉｏｎｏｆＤＢＳＣＡＮａｌｇｏｒｉｔｈｍｂｙｐａｒａｌｌｅｌｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌＭａｐＲｅｄｕｃｅ， ａｎｄｒｅｄｕｃｅＩ／Ｏｃｏｎｓｕｍｐｔｉｏｎａｃｃｏｒｄｉｎｇｔｏｏｖｅｒｌａｐｐｉｎｇｐａｒｔｉｔｉｏｎ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｉｎｄｅａｌｉｎｇｗｉｔｈ ｌａｒｇｅｓｃａｌｅｄａｔａｔｈｅＰＭＤＢＳＣＡＮａｌｇｏｒｉｔｈｍｉｎｃｒｅａｓｅｓｔｈｅｓｐｅｅｄｏｆｃｌｕｓｔｅｒｉｎｇ，ｒｅｄｕｃｅｓＩ／Ｏｃｏｎｓｕｍｐｔｉｏｎ ａｎｄｉｍｐｒｏｖｅｓｃｌｕｓｔｅｒｑｕａｌｉｔｙｓｉｇｎｉｆｉｃａｎｔｌｙ． Ｋｅｙｗｏｒｄｓ：ｌａｒｇｅｓｃａｌｅｄａｔａｂａｓｅ；ＤＢＳＣＡＮａｌｇｏｒｉｔｈｍ；ｄａｔａｏｖｅｒ