基于hadoop平台下gpu集群加速apriori算法的研究.docVIP

基于Hadoop平台下GPU集群加速Apriori算法的研究 瞿诗齐 刘少江 倪伟传 余庆茂 中山大学新华学院 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 介绍了传统串行Apriori算法和它的一些弊端, 针对Apriori算法在Hadoop平台下的集群节点计算能力有限的问题, 将并行能力强大的GPU与Hadoop相结合, 提出了一种GPU-Hadoop的计算结构。以Hadoop平台的Map Reduce的框架不变, 节点将Apriori算法里的计算密集型任务交由GPU来进行处理, 缩减运算时间。通过两组对比实验, 证明了改进的Apriori算法在面对大规模数据集时有着不错的执行速度和效率。 关键词： Apriori算法; Hadoop平台; 集群节点; 计算密集型任务; 大规模数据集; 作者简介：瞿诗齐 (1992-) , 男, 硕士研究生、助教, 主研方向:数据挖掘、智能诊断; 作者简介：刘少江, 硕士、助理实验师; 作者简介：倪伟传, 本科、助理工程师; 作者简介：余庆茂, 本科、网络工程师。 收稿日期：2017-09-08 Research on accelerating Apriori algorithm of GPU cluster based on Hadoop platform Qu Shiqi Liu Shaojiang Ni Weichuan Yu Qingmao Xinhua College, Sun Yat-sen University; Abstract： In this paper, the traditional serial Apriori algorithm some of its drawbacks are introduced.In order to solve the problem of constrained node computing ability when calculating Apriori algorithm under Hadoop platform, the GPU with parallel capability and Hadoop are combined to propose a GPU-Hadoop Calculate the structure.With the framework of Map Reduce on the Hadoop platform, the nodes refer the computationally intensive tasks in the Apriori algorithm to GPU to process and reduce the operation time. Through the two groups of experiments, it is proved that the improved Apriori algorithm has a good execution speed and efficiency in the face of large-scale data set. Keyword： Apriori algorithm; Hadoop platform; Cluster node; Compute-intensive task; Large-scale dataset; Received： 2017-09-08 0概述 伴随着存储技术的迅猛发展, 我们早就进入了一个大数据时代, 各行各业都有着庞大的数据库, 然而怎样在这些海量的数据中挖掘出有价值的信息成为一个难题[1]。分布式计算[2]靠着对大数据良好的处理能力而逐渐兴起, 它通过多个节点部署成一个集群, 每个节点并行处理计算后汇总来处理任务。然而, 针对Apriori算法来说, 集群中单个节点的计算能力极大的限制了算法的效率[3]。因此, 本文希望通过GPU强大的运算能力来改善这个问题, 提出了一种CPU和GPU协同工作的方式, 将GPU加入到现有的Hadoop平台中, 来增强集群中节点的计算能力。并且进行了一些对比实验, 来检测算法的运行效率。 1 Apriori算法的并行化 并行化计算[4]是现代计算要求越来越高的产物, 更是现在高性能计算中非常实用的一种计算手段。它主要是把一个很复杂或者计算量很大的任务, 分割成很多互相不具关联性的小任务, 然后把这些许许多多的小任务利用多个处理器并行来完成, 最后把得到的结果汇总合并。通过这种方式有效的利用计算资源, 减少运算所需的时间, 提高算法效率。