决策树的剪枝策略研究.pdfVIP

第27卷 第3期 河 南 科 学 Vo1．27 No．3 2009年 3月 HENAN SCIENCE Mar．2oo9 文章编号：1004—3918(2009)03—0320—04 决策树的剪枝策略研究 黎 娅 ， 郭江娜 (1．河南经贸职业学院信息管理系，郑州 450053； 2．郑州大学 计算机科学与技术系，郑州 450002) 摘 要：主要研究决策树的修剪策略．着重对决策树需要修剪的原因、发展过程、修剪算法的分类以及修剪过程中 注意事项、修剪程度的控制等进行了探讨． 关键词：分类方法；决策树；修剪算法；剪枝 中图分类号：TP18 文献标识码：A 决策树学习策略广泛应用于模式识别和机器学习等领域，用来解决与分类相关的问题．决策树方法主 ， 要研究2个问题：一是特征值选择问题，二是树剪枝问题． 决策树方法，即根据不同的特征，以树型结构表示分类或决策集合，进而产生规则和发现规律的方法． 采用决策树方法进行空间数据挖掘llI的基本步骤如下：首先利用训练空间实体集生成测试函数；其次根据不 同取值建立决策树的分支，并在每个分支子集中重复建立下层结点和分支，形成决策树；然后对决策树进行 剪枝处理，把决策树转化为对新实体进行分类的规则． 决策树方法是最适合用于数据采掘的．因为：①同其它方法相比，决策树方法构造树的速度快；②决策 树模式简单，容易理解；③树能很容易地转换为SQL语句，从而可同数据库进行有效的连接；④决策树分类 器同其它分类器相比，能获得相似甚至更好的精度 ．因此，在数据采掘方法 中，决策树方法受到了广泛的关 注 ． 决策树归纳方法主要有 2个 问题：一是先从哪一属性往下分叉，即特征选择 问题 (或称偏 向问题)；二是 如何构造一棵 “好”的树 (树剪枝问题)．为解决前一问题研究出许多方法；最有代表性的是 id3(改进的 c4．5，c5．O)，该方法用信息熵来找 出最大增益 (gainmostinformation)作为构造树的依据 ．剪枝一般说来有两 种策略：向前剪枝 (forwardpruning)和向后剪枝 (backwardpruning)12]．许多人给出各种剪枝方法，究竟采用 什么剪枝法，视 问题而定． 由于决策树方法最初是用来解决专家系统获取知识的“瓶颈现象”，当时的数据大多是人为准备的，数据 较理想，数据库也相对较小，而现在进行数据采掘所面对的数据库要大得多，真实世界的数据一般不可能是 完美的，其原因为：①可能某些属性字段上缺值 (missingvalues)；②可能缺少必须的数据而造成数据不完整； ③可能数据不准确含有噪声甚至是错误的．我们在此主要讨论噪声问题．因此处理的方法要作相应的改变． 基本的决策树构造算法没有考虑噪声，生成的决策树完全与训练例子拟合．有噪声情况下，完全拟合 将导致过分拟合 (OverFitting)3[1，即对训练数据的完全拟合反而不具有很好的预测性能．决策树剪枝是一种 克服噪声的技术，同时它也能使树得到简化而变得更容易理解 ． 修剪决策树的目的是为了消除决策树的过分拟合(OverFitting)问题．许多树简化规则正在生成越来越 简单和越来越小的决策树，树简化规则已经成为继预测精度之后的第二个研究焦点．树简化技术的关键问 题在于解决方法的多样性． 1 原因及修剪算法介绍 1．1 导致决策树异常庞大的原因 一 是特征描述不当．有些树特征描述方式不能精确的建立 目标概念模型，当用这种描述方式时，目标 模型非常复杂；二是噪声．当事例包含大量的特征噪声 (即错误标签的特征值)或类噪声(即错误标签的类 值)时，归纳运算会因为不相关的实力特征而将树扩展得漫无边际． 收稿 日期：2009一叭一05 作者简介：黎 娅 (1965一)，女，河南许昌人，副教授，工学硕士，主要从事计算机应用技术、对等网络及数据挖掘等研究． 2009年3月 黎 娅等：决策树的剪枝策略研究 一32l一 1．2 决策树的修剪算法 1)直