基于Spark的CVFDT分类算法并行化研究.PDFVIP

第28卷 第6期 计 算机 技 术 与发 展 Vol.28 No.6 2018年6月 COMPUTERTECHNOLOGY AND DEVELOPMENT June 2018 基于Spark 的CVFDT分类算法并行化研究 庄 荣,李玲娟 (南京邮电大学计算机学院,江苏 南京 210023) 摘 要:以提升流数据的分类挖掘效率为目标,研究将概念适应快速决策树算法(CVFDT)部署到流数据计算平台Spark上 进行并行化的方案。 设计了CVFDT基于Spark 的并行化实现方案,首先对CVFDT算法进行属性间并行化改造,即分割点 计算过程中的并行化;然后基于Spark在CVFDT 的建树过程中将节点的所有属性列表转化为Spark特有的弹性分布式数 据集RDD,通过计算由每个RDD生成的并行化任务,汇总并且比较每个最佳分割点,再计算 Hoeffding边界作为节点分裂 条件找到最佳分割点,从而递归创建决策树。 实验结果表明,在Spark集群环境下,CVFDT算法的分类效率相对于单机环 境有显著提高,改进后的并行化CVFDT算法对大规模流数据处理有良好的适应能力,而且合理设定RDD过滤可使分类效 率进一步提高。 关键词:数据流;CVFDT;并行化;Spark;弹性分布式数据集 中图分类号:TP301.6 文献标识码:A 文章编号:1673-629X(2018)06-0035-04 doi:10.3969/j.issn.1673-629X.2018.06.008 Research on Parallelization of Concept-adapting Very Fast Decision Tree Classification Algorithm Based on Spark ZHUANG Rong,LI Ling-juan (School of Computer,Nanjing University of Postsand Telecommunications,Nanjing210023,China) Abstract:Aiming at increase of classification and mining efficiency for stream data,we study a parallelization scheme of deploying the CVFDT (concept-adapting fast decision tree) to the stream data computing platform Spark and design a implementation scheme of CVFDTbasedon Spark.Firstly,theCVFDT shouldbeparallelizedamongattributes,thatistheparallelization ofthe splittingpoint calcu- lation.Then in the processof building decision trees of CVFDT based on Spark,all the attribute lists of the node are transformed into Spark’sunique resilient distributeddatasets (RDD),andthroughcalculationofparalleltaskfromeachRDD,eachoptimal splittingpoint issummarizedand compared.TheHoeffdingboundary iscalculatedastheno