第6章：决策树学习.pdf

第6章：决策树学习 本章内容 一、决策树学习基础知识 二、决策树学习基本算法 三、决策树学习常见问题 四、决策树学习理解解释 一、决策树学习基础知识  决策树学习(decision tree learning) 是机器学习中一 类最常见的方法之一。顾名思义，决策树学习就是 学习用来作决策的树。  决策树学习是一种逼近离散值目标函数的方法，学 习到的函数被表示为一棵决策树。 一、决策树学习基础知识  一棵决策树一般包含一个根结点、若干个内部结点 和若干个叶子结点。  叶子结点对应于决策结果；  每个内部结点对应于一个属性测试，每个内部结点 包含的样本集合根据属性测试的结果被划分到它的 儿子结点中；  根结点包含全部训练样本。  从根结点到每个叶子结点的路径对应了一条决策规 则。 二、决策树学习基本算法  决策树学习的目的就是为了构造一棵泛化能力强， 即处理待测样本能力强的决策树，基本算法遵循自 顶向下、分而治之的策略，具体步骤如下： 1. 选择最好的属性作为测试属性并创建树的根结点 2. 为测试属性每个可能的取值产生一个分支 3. 训练样本划分到适当的分支形成儿子结点