基于平衡准确率和规模的决策树剪枝算法-科学技术与工程.PDFVIP

第 卷第 期 年 月 科 学 技 术 与 工 程 基于平衡准确率和规模的决策树剪枝算法 宋万洋 李国和 吴卫江 洪云峰 周晓明 中国石油大学北京地球物理与信息工程学院 油气数据挖掘北京市重点实验室 北京 石大兆信数字身份管理与物联网技术研究院 北京 摘要 决策树剪枝是决策树分类学习中的重要步骤可降低决策树复杂程度和提高决策树泛化能力从而提高决策树识别 精度和效率 通过利用系数函数综合决策树的错误率和规模形成决策树剪枝标准在系数函数的参数合适选取采用自底 向上遍历过程逐一进行判断剪枝 实验结果表明综合考虑决策树的分类预测准确率和决策树的规模大小剪枝算法 能够获得更好的剪枝效果 关键词 决策树 剪枝算法 准确率 规模 中图法分类号 文献标志码 决策树算法是当前研究应用比较广泛的机器学 度 准则 根据 习算法 决策树中从根到叶结点的每一条路径 不同的样本数决定对决策树的剪枝程度 但其单纯 对应一组属性值 构成的分类规则 决策树生成 从决策树复杂程度决定剪枝可能导致决策树分类 与训练集紧密相关可能会因为完全拟合训练集导 精确度下降 综合考虑决策树复杂度和分类精度的 致过拟合降低决策树分类精度 决策树剪枝是解 后剪枝更能实现决策树的结构风险最小如结合多 决过拟合提高决策树泛化能力的有效方法之一符 种策略的剪枝算法 但是其策略的组合需要人为 合结构风险最小化理论在经验风险 即训练误差 根据经验给定在应用时有一定的限制基于信息增 和决策树复杂程度取得平衡 当前决策树剪枝 益和最小距离分类的决策时改进算法 其在由信 方法分为前剪枝 和后剪枝 息增益构造的决策树的基础上使用最小距离的标准 前者是在树生成过程中控制决策树的生长容 来调节修整决策树模型但是其对原始数据进行修 易导致过早停止生长的视野效应 后者对已生成 改会导致不可恢复的错误 的决策树进行剪枝 在分析经典后剪枝存在的不足的基础上提出 相关工作 一种综合考虑决策树分类准确率和规模的决策树后 剪枝算法采用自底向上的剪枝策略并且无需单独 后剪枝使决策树具有更好结构风险最小的特 用于剪枝的数据集 点有些经典算法如 等 剪 结合准确率和规模的剪枝算法 枝 算法是常用的剪枝算法但其速度较慢并且