机器学习之决策树学习.pptVIP

* 隐形眼镜例子（1） 上述属性和人群分类一律按顺序用数字1, 2…表示，可以假设根据属性a、b、c、d有如下表的分类(纯属虚拟) * 决策树学习概述 决策树学习的适用问题 决策树建树算法 决策树学习中的假设空间搜索 决策树学习的归纳偏置 决策树学习的常见问题 OUTLINE * 决策树学习中的假设空间搜索 观察ID3的搜索空间和搜索策略，认识到这个算法的优势和不足 假设空间包含所有的决策树，它是关于现有属性的有限离散值函数的一个完整空间 维护单一的当前假设（不同于第二章的变型空间候选消除算法） 不进行回溯，可能收敛到局部最优 每一步使用所有的训练样例，不同于基于单独的训练样例递增作出决定，容错性增强 * 决策树学习概述 决策树学习的适用问题 决策树建树算法 决策树学习中的假设空间搜索 决策树学习的归纳偏置 决策树学习的常见问题 OUTLINE * 决策树学习的归纳偏置 ID3的搜索策略 优先选择较短的树 选择那些信息增益高的属性离根节点较近的树 很难准确刻画ID3的归纳偏置 近似的ID3的归纳偏置 较短的树比较长的树优先，信息增益高的属性更靠近根节点的树优先 * 限定偏置和优选偏置 ID3和候选消除算法的比较 ID3的搜索范围是一个完整的假设空间，但不彻底地搜索这个空间 候选消除算法的搜索范围是不完整的假设空间，但彻底地搜索这个空间 ID3的归纳偏置完全是搜索策略排序假设的结果，来自搜索策略 候选消除算法完全是假设表示的表达能力的结果，来自对搜索空间的定义 * 限定偏置和优选偏置 优选偏置 ID3的归纳偏置是对某种假设胜过其他假设的一种优选，对最终可列举的假设没有硬性限制 限定偏置 候选消除算法的偏置是对待考虑假设的一种限定 通常优选偏置比限定偏置更符合归纳学习的需要 优选偏置和限定偏置的结合 例如：第一章中描述的下棋程序 * 决策树学习概述 决策树学习的适用问题 决策树建树算法 决策树学习中的假设空间搜索 决策树学习的归纳偏置 决策树学习的常见问题 OUTLINE * 决策树学习的常见问题 确定决策树增长的深度 处理连续值的属性 处理属性值不完整的训练数据 * 问题1：避免过度拟和数据 过度拟合 对于一个假设，当存在其他的假设对训练样例的拟合比它差，但事实上在实例的整个分布上表现得却更好时，我们说这个假设过度拟合训练样例 定义：给定一个假设空间H，一个假设h?H，如果存在其他的假设h’?H，使得在训练样例上h的错误率比h’小，但在整个实例分布上h’的错误率比h小，那么就说假设h过度拟合训练数据。 * 问题1：避免过度拟和数据（1） 导致过度拟合的原因 一种可能原因是训练样例含有随机错误或噪声 当训练数据没有噪声时，过度拟合也有可能发生，特别是当少量的样例被关联到叶子节点时，很可能出现巧合的规律性，使得一些属性恰巧可以很好地分割样例，但却与实际的目标函数并无关系。 例如：见下页 * 问题1：避免过度拟和数据（1） High Normal Strong Weak Outlook Wind Humidity Sunny Overcast Rain Yes No Yes No Yes 训练样例集中加入一条训练正例，但被错误标示为反例: Outlook=Sunny, Temp=Warm, humidity=Normal, Wind=Strong，PlayTennis=no * 问题1：避免过度拟和数据（2） 避免过度拟合的方法 及早停止树增长 后修剪法 两种方法的特点 第一种方法更直观，但是精确地估计何时停止树增长很困难 第二种方法被证明在实践中更成功 * 问题1：避免过度拟和数据（3） 后修剪法：错误率降低修剪 该方法考虑将树上的每一个节点作为修剪的候选对象。修剪一个节点的步骤： 1 删除此节点为根的子树，使它成为叶子节点 2 把和该节点关联的训练样例的最常见分类赋给它。 仅当修剪后的树对于测试集合的性能不比原来的树差时才删除该节点 * 问题2：合并连续值属性 ID3被限制为取离散值的属性 学习到的决策树要预测的目标属性必须是离散的 树的决策节点的属性也必须是离散的 简单删除上面第2个限制的方法 通过动态地定义新的离散值属性来实现，即先把连续值属性的值域分割为离散的区间集合。 例如：对于属性Ａ，动态创建一新的布尔属性Ac if Ac Ac = true else Ac = false 阈值c的选择：产生最大信息增益的c * 问题2：合并连续值属性（1） 选择阈值c的方法 按照连续属性A排序样例，然后确定目标分类不同的相邻样例，于是可以产生一组候选阈值，他们的值是相应的A值之间的中间值(48+60/2)和(80+90/2) 计算每一个候选属性Temperature5