决策树知识及介绍.pdfVIP

1. 决策树的概念 如图所示，每个非叶子节点代表了一个属性，父子节点之间的连接线代表了 父节点属性的取值或取值范围，叶子节点代表了分类。上述决策树所代表的输 入对象包含了3个属性{年龄，是否学生，信誉} ，年龄属性的取值为{青，中，老 } ，要分类的标签为{买，不买}。路径中的每一个分支是其连接的父节点所代表 的属性的取值。父节点属性可能是离散的或者是连续的。 2. CLS （Concept Learning System ）算法 从一棵空决策树开始，选择某一属性（分类属性）作为测试属性。该测试属 性对应决策树中的决策结点。根据该属性的值的不同，可将训练样本分成相应 的子集，如果该子集为空（样本空间中没有样本取该值 ），或该子集中的样本 属于同一个类(样本空间中属性取该值得样本都属于同一分类) ，则该子集为叶 结点，否则该子集对应于决策树的内部结点，即测试结点，需要选择一个新的 分类属性对该子集进行划分，直到所有的子集都为空或者属于同一类。 示例： 请根据眼睛颜色和头发颜色构造一个决策树判定所属人种。 过程： step 1 ：选择眼睛颜色（ec ）作为根节点，该属性有{黑色black ，蓝色blue ，灰色gra y}3个取值,black取值的样本为{1,黄种人 ,6,混血 } ，子集不属于同一类样 本，因此