决策树Decision-Tree.pptVIP

（5）选择获得最大信息增益的属性进行划分 ?最大信息增益：? gain(outlook)=0.247位 ?选择天气作为树的根节点的划分属性，其中一个子女节点是最纯的，并且这使它明显优于其他属性。 ?湿度是次佳选择，它产生了一个几乎完全纯的较大的子女节点。 （6）以此类推，递归，继续划分 ?递归继续选择 ?当天气为晴时，所达到的节点上的可 能的深一层的分支 ?除天气外，其他属性产生的信息增益 分别为： gain(temperature)=0.571位 gain(humidity)=0.971位 gain(windy)=0.020位 ?继续再选择湿度(humidity)作为划分属性 天气，晴分支 纯子节点 ?（6）以此类推，递归，继续划分 ? 天气，晴分支，气温，gain(temperature)=0.571位 ? 天气，晴分支，湿度，gain(humidity)=0.971位 (纯的子女节点） ? 天气，晴分支，有风，gain(windy)=0.020位 ? 天气，雨分支，气温，gain(temperature)=0.020位 ? 天气，雨分支，湿度，gain(humidity)=0.020位 ? 天气，雨分支，有风，gain(windy)=0.971位 （纯的子女节点） 天气 雨分支 有风 纯的子节点 （7）当所有叶节点都是纯的，划分过程终止 理想情况下，当所有叶节点都是纯的而使过程终止时，即当它们包含的实例都具有相同类时该过程终止。 可能无法达到这种结果，因为无法避免训练集包含两个具有相同属性集，但具有不同类的实例。 当数据不能进一步划分时，停止划分过程。 最终的决策树 Weather数据 Outlook Temperature Humidity Windy Play? sunny hot high false No sunny hot high true No overcast hot high false Yes rain mild high false Yes rain cool normal false Yes rain cool normal true No overcast cool normal true Yes sunny mild high false No sunny cool normal false Yes rain mild normal false Yes sunny mild normal true Yes overcast mild high true Yes overcast hot normal false Yes rain mild high true No overcast high normal false true sunny rain No No Yes Yes Yes Outlook Humidity Windy ID3如何选择具有最高信息增益的属性： pi 是D中任意元组属于类Ci 的概率，用|Ci,D|/|D| 估计 D中的元组分类所需的期望信息Expected information (entropy)： Information needed (after using A to split D into v partitions) to classify D: Information gained by branching on attribute A 使用属性A得到准确分类所需信息 思考： 如果考虑充当唯一识别的属性，如product_ID。对product_ID的分裂结果？ Infoproduct_ID(D)=0 Gain(product_ID)最大 有无实际意义？ 标识属性被选为分裂属性，但标识属性的分支对预测未知实例的类别并无任何帮助 C4.5 C4.5如何选择具有最高信息增益的属性： 使用“分裂信息（split information）”值将gain规范化 表示属性A第j个划分的权重。 信息率 C4.5算法概述 C4.5算法是ID3算法的扩展 能够处理连续型的属性。首先将连续型属性离散化，把连续型属性的值分成不同的区间，依据是比较各个分裂点Gian值的大小。 缺失数据的考虑：在构建决策树时，可以简单地忽略缺失数据，即在计算增益时，仅考虑具有属性值的记录。 连续值的处理 选取(连续值的)哪个分界点？ 贪婪算法！ 1. 排序 60 70 75 85 90 95 100 120 125 220 若进行“二分”，则可能有9个分界点。 例子： 60 70 75 85 90 95 100 120 125 2