第3章决策树学习重点.ppt

第3章 决策树学习 决策树表示方法 决策树学习的适用问题 基本的决策树学习算法 简介 是一种逼近离散值目标函数的方法 学习得到的函数被表示为一颗决策树 学习得到的决策树也能再被表示为多个if-then规则 此算法是最流行的归纳推理算法之一 成功应用： 医疗诊断 贷款评估 决策树表示法 通过把实例从根节点排列到某个叶子来分类实例 叶子节点即为实例所属的分类 树上的每一个节点指定了对实例的某个属性的测试 该节点的一个后继分支对应于该属性的一个可能值 利用决策树的分类方法 从根节点开始，测试该节点指定的属性 按照给定的实例属性向对应的树枝移动 在以新节点为根的子树上重复过程 例：PlayTennis的决策树 3.3 决策树的适用问题 实例是由“属性-值”（pair）表示 每个属性都去少数离散的值 可扩展到值域为实数的属性 目标函数具有离散的输出值 一般是一个bool型的分类 可扩展到实数值输出的函数，一般不常见 3.3 决策树的适用问题 需要析取的描述 在决策树中取的最终结果即得到析取表达式 训练数据可以包含错误 对错误具有很好的包容力 训练数据可以包含缺少属性值的实例 3.4 基本的决策树学习算法 核心算法ID3：自顶向下的贪婪搜索遍历 贪婪算法：局部最优，不回溯 构造过程： 首先的问题：哪个属性的根节点将被测试？ 答：使用统计测试来确定最具分类能力的单独属性 哪个属性是最优的分类属性 用熵度量样例的均匀性 用信息增益度量期望的熵降低 举例：用ID3算法处理PlayTennis问题