(决策树算法).docx

人工智能技术报告数据挖掘决策树经典算法决策树算法简介决策树算法是一种逼近离散函数值的方法。它是一种典型的/view/8348989.htm分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除 决策树的工作原理决策树一般都是自上而下的来生成的。选择分割的方法有多种，但是目的都是一致的，即对目标类尝试进行最佳的分割。从根节点到叶子节点都有一条路径，这条路径就是一条“规则”。决策树可以是二叉的，也可以是多叉的。对每个节点的衡量：1) 通过该节点的记录数；2) 如果是叶子节点的话，分类的路径；3) 对叶子节点正确分类的比例。有些规则的效果可以比其他的一些规则要好。YYYYNNNNw1Tx≥0 w4Tx≥0 w3Tx≥0 w2Tx≥0 二叉决策树框图决策树的算法类型分析决策树的典型算法有ID3，C4.5，CART等。国际权威的学术组织，数据挖掘国际会议ICDM （the IEEE International Conference on Data Mining）在2006年12月评选出了数据挖掘领域的十大经典算法中，C4.5算法排名第一。C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法。C4.5算法产生的分类规则易于理解，准确率较高。不过在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，在实际应用中因而会导致算法的低效。决策树算法的优点如下：（1）分类精度高；（2）生成的模式简单；（3）对噪声数据有很好的健壮性。因而是目前应用最为广泛的归纳推理算法之一，在数据挖掘中受到研究者的广泛关注。(1) ID3算法 1)概念提取算法CLS 初始化参数C={E}，E包括所有的例子，为根；如果C中的任一元素e同属于同一个决策类则创建一个叶子节点YES终止；否则依启发式标准，选择特征Fi={V1, V2, V3,……, Vn}并创建判定节点，划分C为互不相交的N个集合C1，C2，C3，……，Cn； 对任一个Ci递归。2) ID3算法 随机选择C的一个子集W (窗口)；调用CLS生成W的分类树DT(强调的启发式标准在后)； 顺序扫描C搜集DT的意外(即由DT无法确定的例子)； 组合W与已发现的意外，形成新的W； 重复2)到4)，直到无例外为止。启发式标准：只跟本身与其子树有关，采取信息理论用熵来量度。 熵是选择事件时选择自由度的量度，其计算方法为：P=freq(Cj,S)/|S|；INFO(S)=-SUM(P*LOG(P))；SUM()函数是求j从1到n的和。Gain(X)=Info(X)-Infox(X)；Infox(X)=SUM( (|Ti|/|T|)*Info(X)； 为保证生成的决策树最小，ID3算法在生成子树时，选取使生成的子树的熵(即Gain(S))最小的特征来生成子树。ID3算法对数据的要求：所有属性必须为离散量； 所有的训练例的所有属性必须有一个明确的值；相同的因素必须得到相同的结论且训练例必须唯一。(2) C4.5算法由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；在树构造过程中进行剪枝；能够完成对连续属性的离散化处理；能够对不完整数据进行处理。C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。C4.5算法有如下缺点：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。分类决策树算法：C4.5算法是机器学习算法中的一