08-2机器学习-决策树ID3算法的实例解析.pptVIP

2003.11.18 31 避免过度拟合数据 ? 过度拟合 ? 对于一个假设，当存在其他的假设对训练样例的拟合 比它差，但事实上在实例的整个分布上表现得却更好 时，我们说这个假设过度拟合训练样例 ? 定义：给定一个假设空间 H ，一个假设 h ? H ，如果存在 其他的假设 h ? H ，使得在训练样例上 h 的错误率比 h 小， 但在整个实例分布上 h 的错误率比 h 小，那么就说假设 h 过度拟合训练数据。 2003.11.18 32 避免过度拟合数据（ 2 ） ? 导致过度拟合的原因 ? 一种可能原因是训练样例含有随机错误或噪声 ? 当训练数据没有噪声时，过度拟合也有可能发 生，特别是当少量的样例被关联到叶子节点时， 很可能出现巧合的规律性，使得一些属性恰巧 可以很好地分割样例，但却与实际的目标函数 并无关系。 33 避免过度拟合数据（ 3 ） ? 避免过度拟合的方法 ? 及早停止树增长 ? 后修剪法 ? 两种方法的特点 ? 第一种方法更直观 ? 第一种方法中，精确地估计何时停止树增长很 困难 ? 第二种方法被证明在实践中更成功 2003.11.18 34 避免过度拟合数据（ 4 ） ? 避免过度拟合的关键 ? 使用什么样的准则来确定最终正确树的规模 ? 解决方法 ? 使用与训练样例截然不同的一套分离的样例，来评估 通过后修剪方法从树上修建节点的效用。 ? 使用所有可用数据进