决策树及应用.pdfVIP

第 5 章 决策树及应用 5.1 问题概述 各个领域的人工智能实现， 常常要涉及这样的问题： 从实际问题中提取数据， 并从数据 中提炼一组数据规则，以支持知识推理实现智能的功能。 知识规则一般以“原因—结果”形 式 表 示 。 一 般 地 ， 获 取 知 识 规 则 可 以 通 过 样 本 集 ( ??) ( ??) ( ??) ( ) ?? {(?? ，?? ， ? ，?? ，?? ) |??= 1,2, ? , ??}， 1 2 ?? 建模实现。由于推理结果是有限个，即 y 的取值是有限的，所以这样的建模属于分类问 题。利用神经网络可以实现分类问题建模，但当影响因素变量 ??的个数较大时，建模后的知 ?? 识规则不易表示，特别地，当默写变量 ??的取值缺失时，即使神经网络具有容错性，也会在 ?? 一定程度上影响分类结果的不确定性。 实际应用中， 决定分类结果可能只是几个主要影响因 素取值，不依赖全部因素变量，因此，知识规则的提取，可以转换为这样的问题：某一分类 下哪些变量是主要的影响因素， 这些主要影响因素与分类结果的因素规则表示如何获取？决 策树就是解决这些问题的方法之一。 5.2 决策树概述 决策树学习算法是一组样本数据集 （一个样本数据也可以称为实例） 为基础的一种归纳 学习算法， 它着眼于从一组无次序、 无规则的样本数据（概念）中推理出决策树表示形式的 分类规则。假设这里的样本数据应该能够用“属性—结论” 。 决策时是一个可以自动对数据进行分类的树形结构， 是树形结构的知识表示， 可以直接 转换为分类规则。 它能被看做基于属性的预测模型， 树的根节点是整个数据集空间， 每个分 结点对应一个分裂问题， 它是对某个单一变量的测试， 该测试将数据集合空间分割成两个或 更多数据块， 每个叶结点是带有分类结果的数据分割。 决策树算法主要针对 “以离散型变量 作为属性类型进行分类”的学习方法。对于连续性变量，必须被离散化才能被学习和分类。 基于决策树的决策算法的最大的有点就在于它在学习过程中不需要了解很多的背景知 识，只从样本数据及提供的信息就能够产生一颗决策树， 通过树结点的分叉判别可以使某一 分类问题仅与主要的树结点对应的变量属性取值相关， 即不需要全部变量取值来判别对应的 范类。 5.2.1 决策树基本算法 一颗决策树的内部结点是属性或属性的集合， 儿叶结点就是学习划分的类别或结论， 内 部结点的属性称为测试属性或分裂属性。 当通过一组样本数据集的学习产生了一颗决策树之后， 就可以对一组新的未知数据进行 分类。 使用决策树对数据进行分类的时候， 采用自顶向下的递归方法， 对决策树内部结点进 行属性值的判断比较并根据不同的属性值决定走向哪一条分支， 在叶节点处就得到了新数据 的类别或结论。 从上面的描述可以看出从根结点到叶结点的一条路径对应着一条合取规则， 而整棵决策 树对应着一组合取规则。 A