基于MapReduce的Bagging决策树优化算法.pdfVIP

CN 43—1258／TP 计算机工程与科学 第39卷第5期2017年5月 ISSN1007—130X ComputerEngineeringScienceV01．39，No．5，May．2017 文章编号：1007—130X(2017)05—0841—08 张元鸣，陈 苗，陆佳炜，徐 俊，肖 刚 (浙江工业大学计算机科学与技术学院，浙江杭州310023) 摘 进行了改进，通过有放回采样得到多个与初始韧i练集大小相等的新训练集，并在每个训练集上进行训练， 得到多个分类器，再根据多数投票规则集成训练结果得到最终的分类器；然后，基于MapReduce模型对改 进算法进行了并行化，能够并行化处理训练集、并行选择最佳分割属性和最佳分割点，以及并行生成子节 Job工作流的并行决策树改进算法，提高了对大数据集的分析能力。实验结 点，实现了基于MapReduce 果表明，并行Bagging决策树改进算法具有较高的准确度与敏感度，以及较好的伸缩性和加速比。 关键词：决策树；Bagging；MapReduce模型；大数据分析；准确性 中图分类号：TP390．027 文献标志码：A doi：10．3969／j．issn．1007—130X．2017．05．004 An decisiontree optimizedbagging basedon algorithmMapReduce ZHANG Miao，LUJia—wei，XU—Jun，XIAOGang Yuan-ming，CHEN Science8L of 310023，China) of Technology，Zh@angUniversityTechnology，Hangzhou (CollegeComputer ordertoaddressthe of and oftheC4．5decision Abstract：In shortcomingsoverfittingpoorscalability with then it tree an C4．5 technique，andparallelize optimizedalgorithmBagging algorithm，wepropose obtain new setsthat tOthe model．The can multipletraining accordingMapReduce optimizedalgorithm classifierscanbeobtained are totheinitial set with by equal trainingbysamplingreplacement．Multiple sets．Afinalclassifieris toa