【机器学习】决策树算法讲述.pptVIP

第9章　决策树算法 * 9.5 应用实例分析 根据步骤B所求得的信息增益值,属性Temperature的信息增益值最大，故子分支三可以分得两个分支，决策树构造图3如图所示： 决策树构造图3 第9章　决策树算法 * 9.5 应用实例分析 C.分析图中的：rain下的分裂属性Temperature的两个子分支，其中t3：cool时，分支都属于反例n，故可以直接作为一个叶子节点no； 另一个t1：mild时，若假设Humidity为测试属性，则分支t1总的信息熵和测试属性Humidity信息量分别为： 0.918bit ＝ ＝0.666bit 则其信息增益为： 0.918－0.666=0.252bit 第9章　决策树算法 * 9.5 应用实例分析 若假设Windy为测试属性 ，则测试属性windy的信息量为： ＝ ＝0.666bit 其信息增益为： 0.918-0.666=0.251bit. 由上分析可得Humidity和windy的信息增益是相同的，又因为在t1分支的元组中，p元组的比例比n元组的大，所以，最终得到的决策树图如图所示： 第9章　决策树算法 * 9.2.3 CART算法 Gini指标主要是度量数据划分或训练数据集D的不纯度为主，系数值的属性作为测试属性，Gini值越小，表明样本的“纯净度”越高。Gini指标定义为如下公式： 第9章　决