周雄辉-人工智能-符号学习-决策树教学材料.pptVIP

（4）依次，计算每棵树导致的信息增益 ?为每个属性计算信息增益 ? gain(outlook)=0.247位 ? gain(temperature)=0.029位 ? gain(humidity)=0.152位 ? gain(windy)=0.048位 （5）选择获得最大信息增益的属性进行划分 ?最大信息增益：? gain(outlook)=0.247位 ?选择天气作为树的根节点的划分属性，其中一个子女节点是最纯的，并且这使它明显优于其他属性。 ?湿度是次佳选择，它产生了一个几乎完全纯的较大的子女节点。 （6）以此类推，递归，继续划分 ?递归继续选择 ?当天气为晴时，所达到的节点上的可 能的深一层的分支 ?除天气外，其他属性产生的信息增益 分别为： gain(temperature)=0.571位 gain(humidity)=0.971位 gain(windy)=0.020位 ?继续再选择湿度(humidity)作为划分属性 天气，晴分支 纯子节点 ?（6）以此类推，递归，继续划分 ? 天气，晴分支，气温，gain(temperature)=0.571位 ? 天气，晴分支，湿度，gain(humidity)=0.971位 (纯的子女节点） ? 天气，晴分支，有风，gain(windy)=0.020位 ? 天气，雨分支，气温，gain(temperature)=0.020位 ? 天气，雨分支，湿度，gain(humidity)=0.020位 ? 天气，雨分支，有风，gain(windy)=0.971位 （纯的子女节点） 天气 雨分支 有风 纯的子节点 决策树Decision Tree 决策树的结构 * 根部节点(root node) 非叶子节点(non-leaf node) (代表测试的条件，对数据属性的测试) 分支(branches)(代表测试的结果) 叶节点(leaf node) (代表分类后所获得的分类标记) * 单变量树 每个内部节点中的测试只使用一个输入维。如果使用的输入维 是离散的，取n个可能的值之一，则该节点检测 的值，并取相应的分支，实现一个n路划分。 决策点具有离散分支，而数值输入应当离散化。如果 是数值的（有序的），则测试函数是比较： 其中 是适当选择阈值。该决策节点将输入空间一份为二： 和 ，称为一个二元划分。 决策树根据所选取的属性是数值型还是离散型，每次将数据划分成两个或n个子集。然后使用对应的子集递归地进行划分，直到不需要划分，此时，创建一个树叶节点标记它。 决策树分类 训练阶段 从给定的训练数据集DB，构造出一棵决策树 NB = DecisionTree( data, class ) 分类阶段 从根开始，按照决策树的分类属性逐层往下划分，直到叶节点，获得概念（决策、分类）结果。 y = DecisionTree(NB, x ) Example of a Decision Tree Another Example of Decision Tree Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Test Data Start from the root of tree. Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Test Data Apply Model to Test Data Refund MarSt TaxInc YES NO NO NO Yes No Married Single, Divorced 80K 80K Te