第机器学习 决策树.pptxVIP

会计学;上节课程内容回顾;主要内容;什么是决策树? ;举例:渔民投资;什么是决策树? ;决策树的表示方法;举例;举例;举例;决策树分类过程;决策树分类过程（续）;决策树与规则表达的转换;决策树学习的适用问题;决策树学习的适用问题;决策树学习的适用问题;决策树学习的适用问题;已有的决策树学习算法;ID3;ID3算法的构造过程（问题：哪一个属性将在树的根结点被测试？）;专用于学习布尔函数的ID3算法;专用于学习布尔函数的ID3算法;信息熵;信息熵;举例;注意;注意;信息论中熵的解释;信息论中熵的解释;通用信息熵的定义;通用信息熵的定义;信息增益(Information Gain);信息增益(Information Gain);信息增益(Information Gain);举例;举例;举例;信息增益与ID3;举例;Outlook;举例;决策树学习中的假设空间搜索;决策树学习中的误区;计算复杂度;计算复杂度;决策树学习的归纳偏置;决策树学习的归纳偏置;决策树学习的归纳偏置;决策树学习的归纳偏置;ID3的搜索策略;存在的问题;近似的ID3算法归纳偏置 ;近似的ID3算法归纳偏置 ;近似的ID3算法归纳偏置 ;为什么ID3中选择短的假设优先？;Occam’s razor;Occam’s razor;Occam’s razor;Occam’s razor;Occam’s razor;Occam’s razor（奥卡姆剃刀的强形式）;Occam’s razor（奥卡姆剃刀的强形式）;Occam’s razor（奥卡姆剃刀的强形式）;Occam’s razor（奥卡姆剃刀的强形式）;Occam’s razor（奥卡姆剃刀的强形式）;避免过度拟合（Overfitting）;避免过度拟合（Overfitting）;避免过度拟合（Overfitting）;避免过度拟合;避免过度拟合;过度拟合与噪声;过度拟合与噪声;过度拟合与噪声;避免过度拟合的方法—剪枝;哪种方法被实践证明更有效？ 原因是什么？;无论是通过预修剪 还是后修剪来得到正确大小的树， 一个关键的问题是使用什么样 的准则来确定最终正确树的大小。 ;修剪方法;修剪方法;修剪方法;训练和验证集法;训练和验证集法的动机;合并连续值属性 ;举例 ;举例 ;举例 ;举例 ;举例 ;举例 ;属性选择的其他度量标准 ;属性选择的其他度量标准 ;举例 ;增益比率;举例 ;增益比率;处理缺少属性值的训练样例 ;处理缺少属性值的训练样例 ;处理缺少属性值的训练样例 ;举例 ;处理代价不同的??性 ;处理代价不同的属性 ;决策树的优点;决策树的缺点