一种基于MapReduce的C4.5决策树并行化算法.pdfVIP

总第424期计算机与数字工程Vol.53No.2

ComputerDigitalEngineering

2025年第2期计算机与数字工程327

2025年第2期

一种基于MapReduce的C4.5决策树并行化算法∗

潘俊辉王辉张强王浩畅

（东北石油大学计算机与信息技术学院大庆163318）

摘要C4.5决策树是一种用于分类规则提取的有效算法，该算法在对中、小规模数据集进行处理时已取得不错的效

果，但将其直接应用到大规模数据集上受到多方面的限制，而MapReduce框架对算法进行分布式实现是非常方便的。由此

论文将MapReduce与C4.5决策树相结合，提出了一种基于MapReduce的C4.5决策树并行化算法（MRCTA），该算法通过保留

C4.5决策树自身的优点，在决策树的节点的构造中首先利用MapReduce对其分裂属性进行并行计算，然后利用所得的最优

分裂属性对数据采用分布式分割完成树子节点的生成，同时为了避免产生过度学习现象在构造中将树深和节点覆盖样本的

个数和类别比例作为算法终止的条件。最后通过实验对算法的有效性和效率进行了比较和分析。

关键词决策树；分布式算法；并行计算；MapReduce

中图分类号TP301.6DOI：10.3969/j.issn.1672-9722.2025.02.006

ADistributedC4.5DecisionTreeAlgorithmBasedonMapReduce

PANJunhuiWANGHuiZHANGQiangWANGHaochang

（SchoolofComputerInformationTechnology，NortheastPetroleumUniversity，Daqing163318）

AbstractC4.5decisiontreeisaneffectivealgorithmfortheextractionofclassificationrules.Thealgorithmhasachieved

goodresultsintheprocessingofmediumandsmalldatasets，butitsdirectapplicationtolargedatasetsislimitedbymanyaspects，

whilethedistributedimplementationofthealgorithmbyMapReduceframeworkisveryconvenient.ThuscombiningMapReduce

withC4.5decisiontree，thispaperproposesadistributedC4.5decisiontreealgorithmbasedonMapReduce（MRCTA）.Thealgo⁃

rithmthroughpreservingthemeritsoftheC4.5decisiontreeitself，inthefirstplaceinthestructureofthedecisiontreenodeuses

MapReducetoparallelcomputingofthesplittingattribute，thenitusestheoptimalsplitattributeofdatawiththehelpofdistributed

segmentationtogeneratenewnodes，atthesametimeinordertoavoidover-learning，thetreedepthandthenumberofsamples

coverdbynodesandtheproportionofcategoriesaretakenastheconditionsfortheterminationofthealgorithm.Finally，theeffec⁃

tivenessandefficiencyofthealgorithmarecomparedand