决策树及应用.docxVIP

第5章 决策树及应用 5.1问题概述 各个领域的人工智能实现，常常要涉及这样的问题：从实际问题中提取数据，并从数据 中提炼一组数据规则，以支持知识推理实现智能的功能。知识规则一般以“原因一结果”形 式表示。一般地，获取知识规则可以通过样本集 ｛（疔），谱），…，x屮,y（“））k = 1,2, —,mJ, 建模实现。由于推理结果是有限个，即y的取值是有限的，所以这样的建模属于分类问 题。利用神经网络可以实现分类问题建模，但当影响因索变量俎的个数较人时，建模后的知 识规则不易表示，特别地，当默写变最的取值缺失时，即使神经网络具有容错性，也会在 一定程度上影响分类结果的不确定性。实际应用中，决定分类结果叮能只是几个主要影响因 素取值，不依赖全部因素变量，因此，知识规则的提取，可以转换为这样的问题：某一分类 卜哪些变呈是主要的影响因素，这些主要影响因素与分类结果的因素规则表示如何获取？决 策树就足解决这些问题的方法 5.2决策树概述 决策树学习算法是一组样本数据集（一个样本数据也町以称为实例）为基础的一种归纳 学习算法，它着眼于从-?组无次序、无规则的样本数据（概念）中推理出决策树表示形式的 分类规则。假设这里的样本数据应该能够用“属性一结论”。 决策时是一个町以自动对数据进行?分类的树形结构，是树形结构的知识衷示，町以直接 转换为分类规则。它能被看做基于属性的预测模型，树?的根节点足整个数据集空间，每个分 结点对应一个分裂问题，它是对某个单一变量的测试，该测试将数据集合空间分割成两个或 更多数据块，每个叶结点是带有分类结果的数据分割。决策树算法主要针对“以离散型变量 作为属性类型进行分类”的学习方法。对于连续性变最，必须被离散化才能被学习和分类。 基于决策树的决策算法的瑕大的有点就在于它在学习过程中不需要了解很多的背景知 识，只从样本数据及提供的信息就能够产生一颗决策树，通过树结点的分叉判别可以使某一 分类问题仅与主要的树结点对应的变量属性取值相关，即不需要全部变最取值来判别対应的 范类。 5.2.1决策树基本算法 一颗决策树的内部结点是属性或属性的集合，儿叶结点就是学习划分的类别或结论，内 部结点的属性称为测试加性或分裂加性。 半通过一组样本数据集的学习产生了 i颗决策树之后，就可以对一组新的未知数据进行 分类。使用决策树对数据进行分类的时候，采用自顶向卜的递归方法，对决策树内部结点进 行属性值的判断比较并根据不同的属性值决定走向哪一条分支，在叶节点处就得到了新数据 的类别或结论。 从上面的描述町以看出从根结点到叶结点的一条路径对应着一条合収规则，而整棵决策 树对应着一组介取规则。 图5.1简单决策树 根据决策树内部结点的齐种不同的属性，可以将决策树分为以下几种： （1） 当决策树的每一个内部结点都只包含一个属性时，称为单变最决策树；当决策树 存在包含多个变量的内部结点时，称为多变量决策树。 （2） 根据测试属性的不冋属性值的个数，可能使得每一个内部结点有两个或者足多个 分支，如果每一个内部结点只有两个分支则称之为二叉树决策。 （3） 分类结果可能是两类也可能是多类，二叉树决策的分类结果只能有两类，股也称 之为布尔决策树。 5.2.2 CLS 算法 CLS学习算法是1966年有Hunt等人提出的。它是最早的决策树学习算法。后來的许多 决策树算法都可以看作是CLS学习算法的改进与更新。 CLS的算法的思想就是从一个空的决策出发，根据样本数据不断增加新的分支结点，直 到产生的决策树能够正确地将样本数据分类为上。 CLS算法的步骤如卜?： （1）令决策树T的初始状态只金有一个树根（X,Q）,其中X是全体样本数据的集介， Q是全体测试属性的集介。 如果T中所有叶结点(XJ (? )都有如卜?状态：或者卩中的样本数据都是属于同 一个类，或者Q为空，则停止执行学习算法，学习的结果为T。 否则，选择一个不具有(2)所描述状态的叶节点 X Q)? 对于Q,按照一定规则选取属性bEQ,设屮被b的不同取值分为m个不同的子 集;T, lim,从 g Q )伸出m个分支，每个分支代表属性b的一个不同取值，从 而形成m个新的叶结点(XJ Q -\b\) , 1 i m. 转(2)o 在算法步骤(4)中，并没仃明确地说明按照怎样的规则來选取测试属性，所以CLS有 很人的改进空间，而后米很多的决策树学习算法都是采取「备种各样的规则和标准米选取测 试属性，所以说后來的各种决策树学习算法都是CLS学习算法的改进。 5.2.3信息爛 Shannon在1948年提出并发展了信息论的观点，主张用数学方法度量和研究信息，提 出了以下的一些概念。决策树学习算法是以信息爛为基础的，这些概念将有助于理解后续的 算法。 自信息量：在收到山之前，接收若对信源发出為的不确定性定