面向大型数据集的高效决策树参数剪枝算法.pdfVIP

研究论文第50卷第1期/2024年1月/计算机工程

面向大型数据集的高效决策树参数剪枝算法

*

谢兆贤，邹兴敏，张文静

（曲阜师范大学网络空间安全学院，山东曲阜273165）

摘要：决策树在数据分类上具有较好的效果，但容易产生过拟合的现象，解决方案是对决策树进行剪枝处理，然

而传统剪枝算法普遍存在预剪枝容易欠拟合、后剪枝时间消耗多、网络搜索剪枝仅适用于小型数据集等问题。为

了解决以上问题，提出一种高效的决策树参数剪枝算法。根据网络安全态势感知模型，建立剪枝决策树态势感知

系统架构，分析网络数据流。在生成决策树的过程中，利用枚举与二分搜索算法找出决策树最大深度，采用深度优

先搜索算法找到节点最小分裂数和最大特征数，最终结合这3个最优参数自上而下完成剪枝。实验结果表明，所提

算法在大型数据集上的过拟合风险较小，训练集与测试集准确率都在95%以上，同时相比于后剪枝算法中表现较

好的悲观错误剪枝算法快了近20倍。

关键词：决策树；剪枝；过拟合；安全态势感知；泛化性

源代码链接:https：//github.com/znlazy/decision_tree#decision_tree

中图分类号：TP313.13文献标志码：ADOI:10.19678/j.issn.1000-3428.0066519

High-EfficientParameter-PruningAlgorithmofDecisionTreeforLargeDataset

*

XIEZhaoxian，ZOUXingmin，ZHANGWenjing

（SchoolofCyberScienceandEngineering，QufuNormalUniversity，Qufu273165，Shandong，China）

【Abstract】Decisiontree（DT）haveagoodeffectondataclassificationbuteasilydevelopoverfitting.Thesolutionto

thisproblemistoprunetheDT.However，thepruningalgorithmhasshortcomings；forexample，prepruningisproneto

underfitting，thepostpruningtimeisextended，andWeb-searchpruningisonlysuitableforsmalldatasets.Thisstudy

proposesanefficientparameter-pruningalgorithmfortheDTtosolvetheaboveproblems.Basedonthenetwork

securitysituationawarenessmodel，thearchitectureofthepruneddecision-treesituationawarenesssystemis

established，andthedataflowofthenetworkisanalyzed.DuringtheprocessofgeneratingtheDT，enumerationand

b