决策树详细易懂-很多例子.ppt

（2） 第一棵树，属性，各叶节点的信息值 ? 基于天气(outlook)的划分，在叶节点的yes和no类的个数分别是[2,3]，[4,0]，和[3,2]，而这些节点的信息值分别是： ? info([2,3])=0.971位 →sunny ? info([4,0])=0. 0位 →overcast ? info([3,2])=0.971位 →rain YES No 合计 sunny 2 3 5 overcast 4 0 4 rain 3 2 5 合计 9 5 （3）第一棵树，属性，导致的信息增益 计算平均信息值。 根据天气的树导致的信息增益为：基于类比例原来信息需求-基于天气属性划分之后得到的信息需求 gain(outlook)=info([9,5])-info([2,3],[4,0],[3,2]) =0.940-0.693=0.247位 （4）依次，计算每棵树导致的信息增益 ?为每个属性计算信息增益 ? gain(outlook)=0.247位 ? gain(temperature)=0.029位 ? gain(humidity)=0.152位 ? gain(windy)=0.048位 （5）选择获得最大信息增益的属性进行划分 ?最大信息增益：? gain(outlook)=0.247位 ?选择天气作为树的根节点的划分属性，其中一个子女节点是最纯的，并且这使它明显优于其他属性。 ?湿度是次佳选择，它产生了一个几乎完全纯的较大的子女节点。 （6）以此类推，递归，继续划分 ?递归继续选择 ?当天气为晴时，所达到的节点上的可 能的深一层的分支 ?除天气外，其他属性产生的信息增益 分别为： gain(temperature)=0.571位 gain(humidity)=0.971位 gain(windy)=0.020位 ?继续再选择湿度(humidity)作为划分属性 天气，晴分支 纯子节点 ?（6）以此类推，递归，继续划分 ? 天气，晴分支，气温，gain(temperature)=0.571位 ? 天气，晴分支，湿度，gain(humidity)=0.971位 (纯的子女节点） ? 天气，晴分支，有风，gain(windy)=0.020位 ? 天气，雨分支，气温，gain(temperature)=0.020位 ? 天气，雨分支，湿度，gain(humidity)=0.020位 ? 天气，雨分支，有风，gain(windy)=0.971位 （纯的子女节点） 天气 雨分支 有风 纯的子节点 （7）当所有叶节点都是纯的，划分过程终止 理想情况下，当所有叶节点都是纯的而使过程终止时，即当它们包含的实例都具有相同类时该过程终止。 可能无法达到这种结果，因为无法避免训练集包含两个具有相同属性集，但具有不同类的实例。 当数据不能进一步划分时，停止划分过程。 最终的决策树 Weather数据 Outlook Temperature Humidity Windy Play? sunny hot high false No sunny hot high true No overcast hot high false Yes rain mild high false Yes rain cool normal false Yes rain cool normal true No overcast cool normal true Yes sunny mild high false No sunny cool normal false Yes rain mild normal false Yes sunny mild normal true Yes overcast mild high true Yes overcast hot normal false Yes rain mild high true No overcast high normal false true sunny rain No No Yes Yes Yes Outlook Humidity Windy ID3如何选择具有最高信息增益的属性： pi 是D中任意元组属于类Ci 的概率，用|Ci,D|/|D| 估计 D中的元组分类所需的期望信息Expected information (entropy)： Information needed (after using A to split D into v partitions) to classify D: Information gained by branching on attribute A 使用属性A得到准确分类所需信息 思考： 如果考虑充当唯一识别的属性，如p