ID3算法的合理性证明及实验分析.pdfVIP

2008年 1O月 保 定 学 院 学报 0ct．2008 第 21卷第4期 JOURNALOFBAODINGUNIVERSITY VoL21No-4 文章编号：1674—2494(2008)04—0024—40 ID3算法的合理性证明及实验分析 左吉峰l，，乔均俭 (1．河北大学 数学与计算机学院，河北 保定 071002；2．河北农业大学 理学院，河北 保定 071001) 摘 要：研究一个属性的某几个属性值并的权熵之和与该属性单个属性值的权熵之和的关系， 从理论上证明一个属性的某几个属性值并的权熵之和不小于该属性单个属性值的权熵之和．为ID3算 法的合理性提供理论基础．实验结果证明结论正确． 关键词：信息熵；ID3算法；决策树；条件属性；决策属性 中图分类号：1’P3O1．6 文献标识码：A 决策树 IJ-5】方法是应用最广的归纳推理算法 表1 相对于目标概念PlayTennis的训练样例 之一．ID3算法是一种典型的决策树归纳算法， 它是Quinlan6[1首先提出的．其核心思想是利用 信息熵原理171，选择信息熵最小的属性作为分类 属性，递归地拓展决策树的分枝，完成决策树的 构，产生出一组分类规则．其中属性的熵定义为 该属性单个属性值的权熵之和，在生成树的过 程中，每个结点只有一个属性值(权熵相同的属 性值看作一个属性值)，其优点是采用 自顶向下 不回溯的策略搜索全部的属性空间，其建立决 策树的算法简单，难度小，分类速度快．以表1为 例，表1中有l4个训练样例，每个样例含有4个分 类属性 ，Outlook，Temperature，Wind，Humidit及 1 个决策属性PlayTennis．根据ID3算法，可生成图1 中的决策树．产生出如下的分类规则： 规则l：如果Outlook=Sunny，且Humidity= Normal，则适合打球； 规则2：如果Outlook=Sunny，且Humidity= High，则不适合打球； 规则3：如果Outlook=Overcast，则适合打球； 规则4：如果Outlook=Rain，且Wind=Weak， 则适合打球； 规则5：如果，Outlook=Rain，且Wind=Strong， 则不适合打球 ． 本文首先研究了一个属性的某几个属性值 并的权熵之和与该属性单个属性值的权熵之和 N 的关系，得出了如下结论：一个属性的某几个属 图1 由表1生成的决策树 收稿 日期：20o8一o6—3O 基金项目：河北农业大学非生命学科与新兴学科科研发展基金(FSY200739) 作者简介：左吉峰(1979一)，男，河北邢台人，河北大学硕士研究生，河北农业大学助教 左吉峰，乔均俭：ID3算法的合理性证明及实验分析 性值并的权熵之和不小于该属性单个属性值的权熵之和．然后通过在Pima数据库的实验，证明结论的正确性， 从而为ID3算法的合理性提供了理论基础和例证． 1 准备知识 定义1信息熵是信息的一种不确定性程度的度量，设系统s具有概率分布p={p}(0≤p≤1)，i=1，2，…，n， 则系统S的信息熵(Shannonentropy)定义为 E(s)一∑Plnp． 在二类分类问题中，给定一个集合S，假设Js是由目标值为正的样例或 目标值为负的样例组成，则集合s90 熵为E(s)=-p+log~p+--P—log2p一，其中p+是正例在 中所占的比例，P一是反例在 中所占的比例． ID3算法原理 设训练样例子集PⅣ含有P个正例和n个反例，则一个例子属于正例集朋的概率为—L ，属于 p+n 反例集^ 的概率为 ·决策树可以看作正例与反例集的信息源，因而产生这些信息的期望信息为 l(p．n)-一 l0g2( )一 l0 (