基于属性约简决策树算法研究.docVIP

基于属性约简决策树算法研究 　　摘要：针对数据集中无关的、干扰的属性会降低决策树算法性能的问题，提出了一个新的决策树算法，此算法根据对测试属性进行约简选择，提出以测试属性和决策属性的相似性作为决策树的启发规则来构建决策树，同时使用了分类阈值设定方法简化决策树的生成过程。实验证明，该算法运行效率和预测精度都优于传统的ID3算法。 　　关键词：决策树 ；ID3算法；属性相似度 　　中图法分类号：TP301文献标识码：A 文章编号：1009-3044(2007)15-30830-02 　　Research about Decision Tree Algorithm Based on Attribute Reduction Technology 　　CHU You-bin, TANG Rui-chun, Wang Jie-qiang 　　(Ocean University of China, Qingdao 266000,China) 　　Abstract: The irrelevant or distracting attributes in datasets would have negative effect on decision making and lead to lower performance of classifier. In order to solve this problem, a new decision tree algorithm is proposed in this paper. It has an attribute selection on the sample data, and all the other attributes are eliminated except the most relevant attributes .Then the similar degrees of attributes between the test and the decision are computed and used as the inspiring rule to produce the decision tree. The new algorithm also uses the threshold quantity of classification to simplify the process of building the decision tree. The experiments show that the operation efficiency and the accuracy of the new algorithm are higher than the classic ID3 on some datasets. 　　Key words: Decision tree; ID3; Similar degree of attribute 　　 　　1 引言 　　 　　决策树方法是一种典型的分类方法，它采用自顶向下的分治策略进行分类，具有速度快、精度高、生成的模式简单等优点。构造一个决策树分类模型通常分为两部分：树的构建与树的剪枝。其中树的构建基本思路为：如果训练例子集中的所有例子都是同类的，则将之作为叶子结点，结点内容就是该类别标记。否则，根据某种策略选择一个最优属性，按此属性把训练例子集合分成各个子集，使得每个子集中的所有例子在此属性上都具有相同的属性值，然后再依次递归处理各个子集。树的构建过程中的主要环节是找出最优属性和根据最优属性对训练集进行分割。到目前为止，已经出现了很多典型的决策树算法，例如ID3、C4.5、SLIQ SPRINT等。 　　构造好的决策树的关键在于如何选择好的逻辑判断或属性。决策树算法要在每个节点选出能对样本进行最好划分的属性。从理论上讲，无关或是无用的属性是不应该被选中的。如果样本的属性越多，就需要算法有更强的属性识别能力，更好的启发规则来挑选属性。然而实践中，决策树算法却很容易受到这些无关或无用的属性的干扰。因而本文在决策树生成之前，对数据集的属性进行了约简选择。通过去除不相关的属性，降低了数据的维数，使其后的决策树生成更加高效和简洁。 　　 　　2 属性的约简 　　 　　决策树是在每个节点挑选最有希望成功的属性进行分裂的，从理论上讲决不选择无关的或是无用的属性。属性越多，从理论上看，就需要越强的识别能力。实验显示，无用的属性会影响决策树的分类性能，导致性能变差（在实验的情形中下降了5%至10%）[1]。变差的原因是由于在决策树的某些节点处，无关的属性不可避免地被选择为决定分支的属性，导致使用测试数据测试时产生