决策树C4．5算法的改进及应用.pdfVIP

第9卷 第 1期 2009年 1月 科 学 技 术 与 工 程 Vo1．9 No．1 Jan．2009 1671—1819(2009)1-0034—04 ScienceTechnologyandEngineering ⑥ 2009 Sci．Tech．Engng． 计算机技术 决策树 C4．5算法的改进及应用 黄爱辉 (湖南娄底职业技术学院电子信息工程系，娄底 417000) 摘 要 根据C4．5算法中信息增益率计算原理的特点，利用数学上等价无穷小的性质提出一种新的改进的C4．5算法，减少 了信息增益率的计算量，进而提高c4．5算法中信息增益率的计算效率。改进 的C4．5算法与原c4．5算法相比，在构造决策 树时具有相同的准确率和更高的计算速度，将改进后的c4．5算法应用到成绩分析 中。 关键词 决策树 c4．5算法 信息增益率 等价无穷小 中图法分类号 TP301．6； 文献标志码 A 近年来，决策树方法在机器学习、知识发现等 领域得到了广泛应用。数据挖掘作为一种发现大 1 C4．5决策树算法 量数据中潜在信息的数据分析方法和技术，已经成 为各界关注的热点。其中，决策树以其出色的数据 1．1 C4．5决策树算法 分析效率、直观易懂等特点，倍受青睐。构造决策 c4．5决策树算法的核心思想是利用信息熵原 树有多种算法，国际上最早的、具有影响力的决策 理，选择信息增益率最大的属性作为分类属性，递 树是由Quinlan于 1986年提出的ID3算法 J，是基 归地构造决策树的分枝，完成决策树的构造_3J。 于信息熵的决策树分类算法。ID3算法采用信息熵 假设向量空间中的正例集PE和反例集 NE的 作为属性选择标准，可这个标准易偏向于取值较多 大小分别为P和n，ID3基于两个假设：(1)在向量 的候选属性。Quinlan于 1993年又提出了ID3的改 空间日上的一棵正确决策树对任意例子的分类概 进版本 c4．5算法 J，c4．5算法用信息增益率来选 率同日中正反例的概率一致；(2)一棵决策树能对 择决策属性，它继承了ID3算法的全部优点，在 ID3 一 例子做出正确类别判断所需的信息量为 的基础上还增加 了对连续属性的离散化、对未知属 I(p， 一 lgz 一 lgz (1) 性的处理和产生规则等功能。 在决策树算法中，决策树的复杂度和分类精度 如果以属性 作为决策树的根，A具有 个值 是需要考虑的两个最重要的因素。常用的评价指 (V，V：，…， )，它将 分为V个子集 (日， ，…， 标有：预测准确性，描述分类模型准确预测新的或 )，假设 中含有P个正例和 个反例，子集 未知的数据类的能力。描述的简洁性，模型描述越 的信息熵E( ) 简洁，也就越易于理解。计算复杂性，模型强健性， ／ rr 、 P 1 P Ni 1 Ni 处理规模性 。 E()一 gz赢 一 gz (2) 2008年9月1日收到 2007年娄底职业技术学院科研资助 以属性A为根分类的信息熵为E(A)： 项 目(07ZF021)资助 第一作者简介：黄爱辉(1967一)，女，湖南娄底人，副教授，硕士，研究 )=v鬻 啦) (3) 方向：数据库与数据挖掘，多媒体制作；E—mail：hnldhah@tom．tom。