2 机器学习-决策树学习资料.pptVIP

决策树学习 编写：张磊 决策树 决策树是实例（表示为特征向量）的分类器。结点测试特征，边表示特征的每个值，叶结点对应分类。 可表示任意析取和合取范式，从而表示任意离散函数和离散特征 可将实例分到多个分类(?2) 可以重写为规则，用析取范式（DNF）形式red ^ circle - positivered ^ circle - Ablue - B; red ^ square - Bgreen - C; red ^ triangle - C 决策树学习 实例用(属性-值)对表示。离散值处理简单，连续值可以划分区间。 输出可以是离散的分类，也可以是实数（回归树）。 能有效处理大量数据 可处理噪声数据（分类噪声，属性噪声） 属性值缺失，亦可处理 基本决策树算法 训练数据批处理，自顶向下递归构造决策树 DTree(examples, attributes)If 所有样本属于同一分类，返回标号为该分类的叶结点Else if 属性值为空，返回标号为最普遍分类的叶结点Else 选取一个属性，A，作为根结点 For A的每一个可能的值vi 令examplesi为具有A=vi的样本子集 从根结点出发增加分支（A=vi) 如果examplesi为空 则创建标号为最普遍分类的叶结点 否则递归创建子树——调用DTree(example