决策树习.pptVIP

2003.11.18 机器学习 第3讲 决策树学习 提纲 决策树定义和表示方法 适用问题特征 基本ID3算法 信息增益（Information Gain） 决策树学习的归纳偏置 问题 训练数据的过度拟合 连续值、属性选择度量等 决策树表示法 决策树 通过把实例从根节点排列到某个叶子节点来分类实例。 叶子节点即为实例所属的分类 树上每个节点说明了对实例的某个属性的测试 节点的每个后继分支对应于该属性的一个可能值 决策树代表实例属性值约束的合取的析取式 从根结点到叶结点的每一条路径对应一组属性的合取 树本身对应这些合取的析取 决策树学习的适用问题 适用问题的特征 实例由“属性-值”对表示 目标函数具有离散的输出值 可能需要析取的描述 训练数据可以包含错误 训练数据可以包含缺少属性值的实例 分类问题 核心任务是把样例分类到各可能的离散值对应的类别 基本的决策树学习算法 大多数决策树学习算法是一种核心算法的变体 采用自顶向下的贪婪搜索遍历可能的决策树空间 贪心算法 算法代表： ID3 基本的决策树学习算法（2） ID3的思想 自顶向下构造决策树 从“哪一个属性将在树的根节点被测试”开始 使用统计测试来确定每一个实例属性单独分类训练样例的能力 ID3的过程 分类能力最好的属性被选作树的根节点 根节点的每个可能值产生一个分支 训练样例排列到适当的分支 重复上面的过程 用于学习布尔函数的ID3